TKG クラスタへ RAG ワークロードを展開する

スーパーバイザーの TKG クラスタでは、VMware Data Services Manager によって管理される pgvector PostgreSQL データベースを使用する NVIDIA の RAG サンプル パイプラインに基づいて RAG ワークロードを展開できます。

前提条件

• VMware Private AI Foundation with NVIDIA が VI ワークロード ドメインで使用可能であることを確認します。VMware Private AI Foundation with NVIDIA の展開を参照してください。
• VMware Private AI Foundation with NVIDIA でベクター データベースを展開する。

手順

1. GPU アクセラレーション TKG クラスタをプロビジョニングします。
   VMware Private AI Foundation with NVIDIA の TKG クラスタに AI ワークロードを展開するを参照してください。
2. RAG LLM Operator をインストールします。
   「 RAG LLM Operator のインストール」を参照してください。
3. NVIDIA サンプル RAG パイプラインのマニフェストをダウンロードします。
   「 サンプル RAG パイプライン」を参照してください。
4. pgvector PostgreSQL データベースを使用してサンプル RAG パイプラインを構成します。
   1. サンプル パイプラインの YAML ファイルを編集します。
      「 サンプル RAG パイプライン」の手順 4 を参照してください。
   2. YAML ファイルで、データベースの接続文字列を使用して、pgvector PostgreSQL データベースでサンプル パイプラインを構成します。
      「 RAG サンプル パイプラインのベクター データベース」を参照してください。
5. サンプル チャット アプリケーションの外部 IP アドレスを提供するには、YAML ファイルで frontend.service.type を loadBalancer に設定します。
6. サンプル RAG パイプラインを開始します。
   「 サンプル RAG パイプライン」を参照してください。
7. サンプル チャット アプリケーションにアクセスするには、次のコマンドを実行してアプリケーションの外部 IP アドレスを取得します。

   kubectl -n rag-sample get service rag-playground

8. Web ブラウザで、http://application_external_ip:3001/orgs/nvidia/models/text-qa-chatbot にあるサンプル チャット アプリケーションを開きます。