VMware Private AI Foundation with NVIDIA では、DevOps エンジニアが Automation Service Broker の AI Kubernetes クラスタ セルフサービス カタログ アイテムを使用して、VMware Aria Automation から NVIDIA GPU でアクセラレーションされた TKG クラスタをプロビジョニングできます。次に、NVIDIA NGC から AI コンテナ イメージをクラスタに展開できます。
前提条件
手順
- ♦ Automation Service Broker で、クラウド管理者が構成したスーパーバイザー インスタンスに AI Kubernetes クラスタ カタログ アイテムを展開します。
- RAG 以外の Tanzu Grid Kubernetes クラスタの場合は、[AI Kubernetes クラスタ] カタログ アイテムを使用します。GPU アクセラレーション Tanzu Kubernetes Grid クラスタの展開を参照してください。
- RAG ベースの Tanzu Grid Kubernetes Grid クラスタの場合は、[AI Kubernetes RAG クラスタ] カタログ アイテムを使用します。GPU アクセラレーション Tanzu Kubernetes Grid RAG クラスタの展開を参照してください。
次のタスク
AI コンテナ イメージを実行します。接続された環境では、NVIDIA NGC カタログを使用します。切断された環境では、スーパーバイザーの Harbor レジストリを使用します。
RAG ベースの Tanzu Grid Kubernetes Grid クラスタの場合は、VMware Data Services Manager に pgvector PostgreSQL データベースを展開し、NVIDIA から RAG サンプル パイプラインをインストールします。TKG クラスタへ RAG ワークロードを展開するを参照してください。