TKG クラスタへ RAG ワークロードを展開する

DevOps エンジニアは、スーパーバイザーの TKG クラスタで、VMware Data Services Manager によって管理される pgvector PostgreSQL データベースを使用する NVIDIA の RAG サンプル パイプラインに基づいて RAG ワークロードを展開できます。

前提条件

• VMware Private AI Foundation with NVIDIA が VI ワークロード ドメインで使用可能であることを確認します。プライベート AI ワークロード展開のための VMware Cloud Foundation の準備を参照してください。
• VMware Private AI Foundation with NVIDIA でベクター データベースを展開する。

手順

1. GPU アクセラレーション TKG クラスタをプロビジョニングします。
   次のワークフローのいずれかを使用できます。

   プロビジョニング ワークフロー	手順
   VMware Aria Automation でカタログ アイテムを使用する	GPU アクセラレーション Tanzu Kubernetes Grid RAG クラスタの展開。
   kubectl コマンドを使用する	kubectl コマンドを使用して、GPU アクセラレーション TKG クラスタをプロビジョニングします。 接続された環境については、「接続された VMware Private AI Foundation with NVIDIA 環境で kubectl コマンドを使用して GPU アクセラレーション TKG クラスタをプロビジョニングする」を参照してください。 切断された環境については、「切断された VMware Private AI Foundation with NVIDIA 環境で kubectl コマンドを使用して GPU アクセラレーション TKG クラスタをプロビジョニングする」を参照してください。 RAG LLM Operator をインストールします。 「RAG LLM Operator のインストール」を参照してください。

2. kubectl コマンドを使用して TKG クラスタをプロビジョニングした場合は、TKG クラスタに NVIDIA RAG LLM Operator をインストールします。

   「RAG LLM Operator のインストール」を参照してください。

   展開時に、VMware Aria Automation の [AI Kubernetes RAG クラスタ] カタログ アイテムは、TKG クラスタに NVIDIA RAG LLM Operator を自動的にインストールします。

3. NVIDIA サンプル RAG パイプラインのマニフェストをダウンロードします。
   「 サンプル RAG パイプライン」を参照してください。
4. pgvector PostgreSQL データベースを使用してサンプル RAG パイプラインを構成します。
   1. サンプル パイプラインの YAML ファイルを編集します。
      「 サンプル RAG パイプライン」の手順 4 を参照してください。
   2. YAML ファイルで、データベースの接続文字列を使用して、pgvector PostgreSQL データベースでサンプル パイプラインを構成します。
      「 RAG サンプル パイプラインのベクター データベース」を参照してください。
5. サンプル チャット アプリケーションの外部 IP アドレスを提供するには、YAML ファイルで frontend.service.type を loadBalancer に設定します。
6. サンプル RAG パイプラインを開始します。
   「 サンプル RAG パイプライン」を参照してください。
7. サンプル チャット アプリケーションにアクセスするには、次のコマンドを実行してアプリケーションの外部 IP アドレスを取得します。

   kubectl -n rag-sample get service rag-playground

8. Web ブラウザで、http://application_external_ip:3001/orgs/nvidia/models/text-qa-chatbot にあるサンプル チャット アプリケーションを開きます。