クラウド管理者は、データ サイエンティストと DevOps エンジニアが AI ワークロードを VMware Private AI Foundation with NVIDIA 上に展開できるように、固有のソフトウェアを展開し、ターゲット VI ワークロード ドメインを構成する必要があります。

VMware Private AI Foundation with NVIDIA の VMware コンポーネント

VMware Private AI Foundation with NVIDIA ソリューションの機能は、複数のソフトウェア コンポーネントで使用できます。

  • VMware Cloud Foundation 5.1.1
  • VMware Aria Automation 8.16.2 および VMware Aria Automation 8.17
  • VMware Aria Operations 8.16 および VMware Aria Operations 8.17.1
  • VMware Data Services Manager 2.0.x

VMware Private AI Foundation with NVIDIA アーキテクチャとコンポーネントの詳細については、「VMware Private AI Foundation with NVIDIA について」を参照してください。

VMware Private AI Foundation with NVIDIA の展開ワークフロー

切断された環境では、アプライアンスをセットアップして展開し、ローカルでリソースを提供して、ワークロードがアクセスできるようにするための追加の手順を実行する必要があります。

接続された環境
タスク 関連する AI ワークロードの展開オプション 手順
VMware Private AI Foundation with NVIDIA の展開の要件を参照してください。
  • ディープ ラーニング仮想マシンを展開する
  • GPU アクセラレーション TKG クラスタに AI ワークロードを展開する
  • RAG ワークロードを展開する
 VMware Private AI Foundation with NVIDIA を展開するための要件
NVIDIA ライセンス ポータルでライセンス サービス インスタンスを構成し、クライアント構成トークンを生成します。
  • ディープ ラーニング仮想マシンを展開する
  • GPU アクセラレーション TKG クラスタに AI ワークロードを展開する
  • RAG ワークロードを展開する
 NVIDIA ライセンス システム ユーザー ガイド。
NVIDIA NGC カタログにアクセスするための API キーを生成します。
  • ディープ ラーニング仮想マシンを展開する
  • GPU アクセラレーション TKG クラスタに AI ワークロードを展開する
  • RAG ワークロードを展開する
 NVIDIA AI Enterprise コンテナのプルと実行
ディープ ラーニング仮想マシンまたは TKG クラスタを vSphere with Tanzu のスーパーバイザーに直接展開する場合は、スーパーバイザー インスタンスにアクセスでき、Docker、Helm、Kubernetes CLI Tools for vSphere を備えたマシンをセットアップします。
  • kubectl を使用してディープ ラーニング仮想マシンを直接展開する
  • kubectl を使用してプロビジョニングされた GPU アクセラレーション TKG クラスタに AI ワークロードを展開する
  • RAG ワークロードを展開する
    • kubectl を使用して RAG ワークロードを含むディープ ラーニング仮想マシンを展開する
    • TKG クラスタへ RAG ワークロードを展開する
 Kubernetes CLI Tools for vSphere のインストール
vSphere With Tanzu を有効にします。
  • kubectl を使用してディープ ラーニング仮想マシンを直接展開する
  • kubectl を使用してプロビジョニングされた GPU アクセラレーション TKG クラスタに AI ワークロードを展開する
  • RAG ワークロードを展開する
    • kubectl を使用して RAG ワークロードを含むディープ ラーニング仮想マシンを展開する
    • TKG クラスタへ RAG ワークロードを展開する
 VMware Private AI Foundation with NVIDIA の vSphere with Tanzu の構成
VMware Aria Automation を展開します。
  • セルフサービス カタログ アイテムを使用してディープ ラーニング仮想マシンを直接展開する
  • セルフサービス カタログ アイテムを使用してプロビジョニングされた GPU アクセラレーション TKG クラスタに AI ワークロードを展開する
  • RAG ワークロードを展開する
    • セルフサービス カタログ アイテムを使用して RAG ワークロードを含むディープ ラーニング仮想マシンを展開する
    • セルフサービス カタログ アイテムを使用してプロビジョニングされた TKG クラスタに RAG ワークロードを展開する
 VMware Private AI Foundation with NVIDIA 用の VMware Aria Automation の設定
VMware Aria Operations を展開します。 クラスタ、ホスト システム、およびホスト プロパティで GPU メトリックを監視し、これらのメトリックをカスタム ダッシュボードに追加するオプションを使用する。 VMware Aria Operations 8.16 の場合は、「VMware Cloud Foundation のためのインテリジェントな運用管理」に従います。

VMware Aria Operations 8.17.1 で拡張 GPU 監視機能を使用する場合は、次の手順を実行します。

  1. VMware Aria Operations 8.17.1 の製品サポート パックを VMware Aria Suite Lifecycle 8.16 に適用します。

    『VMware Aria Suite Lifecycle 8.16 Product Support Pack リリース ノート』を参照してください。

  2. 「VMware Cloud Foundation のためのインテリジェントな運用管理」に従って VMware Aria Operations を展開します。
VMware Data Services Manager の展開
  • RAG ワークロードを展開する
VMware Data Services Manager のインストールと構成

AI ワークロードを持つ VI ワークロード ドメインに VMware Data Services Manager インスタンスを展開します。

VMware Aria Automation のセルフサービス カタログ アイテムを使用して、pgvector 拡張機能を備えた PostgreSQL データベースをプロビジョニングできるようにするには、VMware Data Services Manager 2.0.2 を展開します。
切断された環境
タスク 関連する AI ワークロードの展開オプション 手順
VMware Private AI Foundation with NVIDIA の展開の要件を参照してください。
  • ディープ ラーニング仮想マシンを展開する
  • GPU アクセラレーション TKG クラスタに AI ワークロードを展開する
  • RAG ワークロードを展開する
 VMware Private AI Foundation with NVIDIA を展開するための要件
NVIDIA 委任ライセンス サービス インスタンスを展開します。
  • ディープ ラーニング仮想マシンを展開する
  • GPU アクセラレーション TKG クラスタに AI ワークロードを展開する
  • RAG ワークロードを展開する
 DLS 仮想アプライアンスのインストールと構成

仮想アプライアンスは、AI ワークロードと同じワークロード ドメインに展開するか、または管理ドメインに展開できます。
  1. NVIDIA ライセンス ポータルに NVIDIA DLS インスタンスを登録し、ライセンス サーバをバインドしてインストールします。
  2. クライアント構成トークンを生成します。
  • ディープ ラーニング仮想マシンを展開する
  • GPU アクセラレーション TKG クラスタに AI ワークロードを展開する
  • RAG ワークロードを展開する
vSphere With Tanzu の有効化
  • kubectl を使用してディープ ラーニング仮想マシンを直接展開する
  • kubectl を使用してプロビジョニングされた GPU アクセラレーション TKG クラスタに AI ワークロードを展開する
  • RAG ワークロードを展開する
    • kubectl を使用して RAG ワークロードを含むディープ ラーニング仮想マシンを展開する
    • TKG クラスタへ RAG ワークロードを展開する
 VMware Private AI Foundation with NVIDIA の vSphere with Tanzu の構成
スーパーバイザーで Harbor レジストリ サービスをセットアップします。
  • ディープ ラーニング仮想マシンを展開する
    • kubectl を使用してディープ ラーニング仮想マシンを直接展開する
    • セルフサービス カタログ アイテムを使用してディープ ラーニング仮想マシンを直接展開する
  • GPU アクセラレーション TKG クラスタに AI ワークロードを展開する
  • RAG ワークロードを展開する
    • kubectl を使用して RAG ワークロードを含むディープ ラーニング仮想マシンを展開する
    • セルフサービス カタログ アイテムを使用してディープ ラーニング仮想マシンを直接展開する
    • TKG クラスタへ RAG ワークロードを展開する
 VMware Private AI Foundation with NVIDIA でのプライベート Harbor レジストリの設定
vGPU ゲスト ドライバをダウンロードする場所を指定します。 ディープ ラーニング仮想マシンを展開する 必要な vGPU ゲスト ドライバ バージョンと、次のいずれかの形式のインデックスをローカル Web サーバにアップロードします。
  • vGPU ゲスト ドライバの .run ファイルのリストを含むインデックス ファイル。
    host-driver-version-1 guest-driver-download-URL-1
host-driver-version-2 guest-driver-download-URL-2
host-driver-version-3 guest-driver-download-URL-3
  • NGINX や Apache HTTP Server などの Web サーバによって生成された形式のディレクトリ インデックス。
NVIDIA NGC コンテナ イメージを、スーパーバイザーの Harbor レジストリ サービスなどのプライベート コンテナ レジストリにアップロードします。
  • ディープ ラーニング仮想マシンを展開する
    • kubectl を使用してディープ ラーニング仮想マシンを直接展開する
    • セルフサービス カタログ アイテムを使用してディープ ラーニング仮想マシンを直接展開する
  • GPU アクセラレーション TKG クラスタに AI ワークロードを展開する
  • RAG ワークロードを展開する
    • kubectl を使用して RAG ワークロードを含むディープ ラーニング仮想マシンを展開する
    • セルフサービス カタログ アイテムを使用してディープ ラーニング仮想マシンを直接展開する
    • TKG クラスタへ RAG ワークロードを展開する
 VMware Private AI Foundation with NVIDIA のプライベート Harbor レジストリに AI コンテナ イメージをアップロードする
VMware Aria Automation の展開
  • セルフサービス カタログ アイテムを使用してディープ ラーニング仮想マシンを直接展開する
  • セルフサービス カタログ アイテムを使用してプロビジョニングされた GPU アクセラレーション TKG クラスタに AI ワークロードを展開する
  • RAG ワークロードを展開する
    • セルフサービス カタログ アイテムを使用してディープ ラーニング仮想マシンを直接展開する
    • セルフサービス カタログ アイテムを使用してプロビジョニングされた TKG クラスタに RAG ワークロードを展開する
 VMware Private AI Foundation with NVIDIA 用の VMware Aria Automation の設定
VMware Aria Operations の展開 クラスタ、ホスト システム、およびホスト プロパティで GPU メトリックを監視し、これらのメトリックをカスタム ダッシュボードに追加するオプションを使用する。 VMware Aria Operations 8.16 の場合は、「VMware Cloud Foundation のためのインテリジェントな運用管理」に従います。

VMware Aria Operations 8.17.1 で拡張 GPU 監視機能を使用する場合は、次の手順を実行します。

  1. VMware Aria Operations 8.17.1 の製品サポート パックを VMware Aria Suite Lifecycle 8.16 に適用します。

    『VMware Aria Suite Lifecycle 8.16 Product Support Pack リリース ノート』を参照してください。

  2. 「VMware Cloud Foundation のためのインテリジェントな運用管理」に従って VMware Aria Operations を展開します。
VMware Data Services Manager の展開
  • RAG ワークロードを展開する
VMware Data Services Manager のインストールと構成

AI ワークロードを持つ VI ワークロード ドメインに VMware Data Services Manager インスタンスを展開します。

VMware Aria Automation のセルフサービス カタログ アイテムを使用して、pgvector 拡張機能を備えた PostgreSQL データベースをプロビジョニングできるようにするには、VMware Data Services Manager 2.0.2 を展開します。
  • インターネットにアクセスでき、Docker と Helm がインストールされているマシンをセットアップします。
  • VI ワークロード ドメインの vCenter Server、スーパーバイザー インスタンス、およびローカル コンテナ レジストリにアクセスできるマシンをセットアップします。

    マシンには、Docker、Helm、および Kubernetes CLI Tools for vSphere がインストールされている必要があります。
  • ディープ ラーニング仮想マシンを展開する
  • GPU アクセラレーション TKG クラスタを展開する
  • RAG ワークロードを展開する