これらの仮想マシン クラスでは、クラウド管理者は、スーパーバイザー クラスタの ESXi ホストに構成されている vGPU デバイスに応じて、NVIDIA GRID vGPU デバイスのコンピューティング要件と vGPU プロファイルを設定します。

注： このドキュメントは、 VMware Cloud Foundation 5.2.1 に基づいています。 VMware Cloud Foundation 5.2 の VMware Private AI Foundation with NVIDIA 機能の詳細については、 VMware Cloud Foundation 5.2 向け VMware Private AI Foundation with NVIDIA ガイドを参照してください。

前提条件

手順

  1. VMware Cloud Foundation 5.2.1 インスタンスの場合は、管理ドメインの vCenter Server インスタンス (https://<vcenter_server_fqdn>/ui) にログインします。
  2. [vSphere Client] サイド パネルで、[Private AI Foundation] をクリックします。
  3. [Private AI Foundation] ワークフローで、[ワークロード ドメインの設定] セクションをクリックします。
  4. NVIDIA vGPU を使用して仮想マシン クラスを作成します。

    ガイド付き展開ワークフローのウィザードには、vSphere Client の [ワークロード管理] 領域にある同様のウィザードと同じオプションがあります。

    ディープ ラーニング仮想マシンの内容に応じて、[仮想マシン クラス] ダイアログ ボックスで次の追加設定を行います。

    使用事例 仮想マシン クラスの追加設定

    NVIDIA RAG ワークロードを持つディープ ラーニング仮想マシン
    • タイム スライス モードのフルサイズ vGPU プロファイルまたは MIG プロファイルを選択します。たとえば、vGPU タイム スライス モードの NVIDIA A100 40GB カードの場合は、[nvidia_a100-40c] を選択します。
    • [仮想ハードウェア] タブで、16 個を超える仮想 CPU コアと 64 GB を超える仮想メモリを割り当てます。
    • [詳細パラメータ] タブで、pciPassthru<vgpu-id>.cfg.enable_uvm パラメータを 1 に設定します。

      ここで、<vgpu-id> は仮想マシンに割り当てられた vGPU を識別します。たとえば、2 つの vGPU が仮想マシンに割り当てられている場合は、pciPassthru0.cfg.parameter=1 と pciPassthru1.cfg.parameter = 1 を設定します。

      重要： この構成により、ディープ ラーニング仮想マシンの vSphere vMotion 移行がオフになります。
    TensorRT バックエンドを備えた Triton Inference Server を使用するディープ ラーニング仮想マシン [詳細パラメータ] タブで、pciPassthru<vgpu-id>.cfg.enable_uvm パラメータを 1 に設定します。

    ここで、<vgpu-id> は仮想マシンに割り当てられた vGPU を識別します。たとえば、2 つの vGPU が仮想マシンに割り当てられている場合は、pciPassthru0.cfg.parameter=1 と pciPassthru1.cfg.parameter = 1 を設定します。

    重要： この構成により、ディープ ラーニング仮想マシンの vSphere vMotion 移行がオフになります。