DevOps エンジニアは、スーパーバイザーの TKG クラスタで、VMware Data Services Manager によって管理される pgvector PostgreSQL データベースを使用する NVIDIA の RAG サンプル パイプラインに基づいて RAG ワークロードを展開できます。
手順
- GPU アクセラレーション TKG クラスタをプロビジョニングします。
次のワークフローのいずれかを使用できます。
- kubectl コマンドを使用して TKG クラスタをプロビジョニングした場合は、TKG クラスタに NVIDIA RAG LLM Operator をインストールします。
「RAG LLM Operator のインストール」を参照してください。
展開時に、VMware Aria Automation の [AI Kubernetes RAG クラスタ] カタログ アイテムは、TKG クラスタに NVIDIA RAG LLM Operator を自動的にインストールします。
- NVIDIA サンプル RAG パイプラインのマニフェストをダウンロードします。
- pgvector PostgreSQL データベースを使用してサンプル RAG パイプラインを構成します。
- サンプル パイプラインの YAML ファイルを編集します。
- YAML ファイルで、データベースの接続文字列を使用して、pgvector PostgreSQL データベースでサンプル パイプラインを構成します。
- サンプル チャット アプリケーションの外部 IP アドレスを提供するには、YAML ファイルで
frontend.service.type
を loadBalancer
に設定します。
- サンプル RAG パイプラインを開始します。
- サンプル チャット アプリケーションにアクセスするには、次のコマンドを実行してアプリケーションの外部 IP アドレスを取得します。
kubectl -n rag-sample get service rag-playground
- Web ブラウザで、http://application_external_ip:3001/orgs/nvidia/models/text-qa-chatbot にあるサンプル チャット アプリケーションを開きます。