VMware Private AI Foundation with NVIDIA の AI ワークロード用に vGPU ベースの仮想マシンクラスを構成する

これらの仮想マシンクラスでは、クラウド管理者は、スーパーバイザークラスタの ESXi ホストに構成されている vGPU デバイスに応じて、NVIDIA GRID vGPU デバイスのコンピューティング要件と vGPU プロファイルを設定します。

注：このドキュメントは、 VMware Cloud Foundation 5.2.1 に基づいています。 VMware Cloud Foundation 5.2 の VMware Private AI Foundation with NVIDIA 機能の詳細については、 VMware Cloud Foundation 5.2 向け VMware Private AI Foundation with NVIDIA ガイドを参照してください。

前提条件

展開ワークフローのこの手順まで VMware Private AI Foundation with NVIDIA が構成されていることを確認します。プライベート AI ワークロード展開のための VMware Cloud Foundation の準備を参照してください。

手順

VMware Cloud Foundation 5.2.1 インスタンスの場合は、管理ドメインの vCenter Server インスタンス (https://<vcenter_server_fqdn>/ui) にログインします。
[vSphere Client] サイドパネルで、[Private AI Foundation] をクリックします。
[Private AI Foundation] ワークフローで、[ワークロードドメインの設定] セクションをクリックします。

NVIDIA vGPU を使用して仮想マシンクラスを作成します。

ガイド付き展開ワークフローのウィザードには、vSphere Client の [ワークロード管理] 領域にある同様のウィザードと同じオプションがあります。

仮想マシン用の vGPU ベースの仮想マシンクラスの設定については、「vSphere Client を使用したカスタム仮想マシンクラスの作成」および「vSphere with Tanzu での仮想マシンクラスへの PCI デバイスの追加」を参照してください。
TKG ワーカーノード用の vGPU ベースの仮想マシンクラスの設定については、「vSphere 8 Update 2b 以降で vGPU プロファイルを使用してカスタム仮想マシンクラスを作成する」および「スーパーバイザーに TKG クラスタの vSphere 名前空間を構成する」を参照してください。

ディープラーニング仮想マシンの内容に応じて、[仮想マシンクラス] ダイアログボックスで次の追加設定を行います。


使用事例	仮想マシンクラスの追加設定
NVIDIA RAG ワークロードを持つディープラーニング仮想マシン	タイムスライスモードのフルサイズ vGPU プロファイルまたは MIG プロファイルを選択します。たとえば、vGPU タイムスライスモードの NVIDIA A100 40GB カードの場合は、[nvidia_a100-40c] を選択します。 [仮想ハードウェア] タブで、16 個を超える仮想 CPU コアと 64 GB を超える仮想メモリを割り当てます。 [詳細パラメータ] タブで、`pciPassthru<vgpu-id>.cfg.enable_uvm` パラメータを `1` に設定します。ここで、`<vgpu-id>` は仮想マシンに割り当てられた vGPU を識別します。たとえば、2 つの vGPU が仮想マシンに割り当てられている場合は、`pciPassthru0.cfg.parameter=1` と `pciPassthru1.cfg.parameter = 1` を設定します。重要：この構成により、ディープラーニング仮想マシンの vSphere vMotion 移行がオフになります。
TensorRT バックエンドを備えた Triton Inference Server を使用するディープラーニング仮想マシン	[詳細パラメータ] タブで、`pciPassthru<vgpu-id>.cfg.enable_uvm` パラメータを `1` に設定します。ここで、`<vgpu-id>` は仮想マシンに割り当てられた vGPU を識別します。たとえば、2 つの vGPU が仮想マシンに割り当てられている場合は、`pciPassthru0.cfg.parameter=1` と `pciPassthru1.cfg.parameter = 1` を設定します。重要：この構成により、ディープラーニング仮想マシンの vSphere vMotion 移行がオフになります。