VMware Private AI Foundation with NVIDIA でセルフサービス カタログを使用して GPU アクセラレーション TKG クラスタをプロビジョニングする

VMware Private AI Foundation with NVIDIA では、DevOps エンジニアが Automation Service Broker の AI Kubernetes クラスタ セルフサービス カタログ アイテムを使用して、VMware Aria Automation から NVIDIA GPU でアクセラレーションされた TKG クラスタをプロビジョニングできます。次に、NVIDIA NGC から AI コンテナ イメージをクラスタに展開できます。

前提条件

VMware Private AI Foundation with NVIDIA が構成されていることをクラウド管理者に確認します。 プライベート AI ワークロード展開のための VMware Cloud Foundation の準備を参照してください。

手順

• ♦ Automation Service Broker で、クラウド管理者が構成したスーパーバイザー インスタンスに AI Kubernetes クラスタ カタログ アイテムを展開します。
  • RAG 以外の Tanzu Grid Kubernetes クラスタの場合は、[AI Kubernetes クラスタ] カタログ アイテムを使用します。GPU アクセラレーション Tanzu Kubernetes Grid クラスタの展開を参照してください。
  • RAG ベースの Tanzu Grid Kubernetes Grid クラスタの場合は、[AI Kubernetes RAG クラスタ] カタログ アイテムを使用します。GPU アクセラレーション Tanzu Kubernetes Grid RAG クラスタの展開を参照してください。

次のタスク

AI コンテナ イメージを実行します。接続された環境では、NVIDIA NGC カタログを使用します。切断された環境では、スーパーバイザーの Harbor レジストリを使用します。

RAG ベースの Tanzu Grid Kubernetes Grid クラスタの場合は、VMware Data Services Manager に pgvector PostgreSQL データベースを展開し、NVIDIA から RAG サンプル パイプラインをインストールします。TKG クラスタへ RAG ワークロードを展開するを参照してください。