VI ワークロード ドメインの VMware Cloud Foundation 環境に VMware Private AI Foundation with NVIDIA のコンポーネントを展開します。このドメインには、特定の NVIDIA コンポーネントがインストールされている必要があります。
必要な VMware ソフトウェア バージョン
VMware Private AI Foundation with NVIDIA の VMware コンポーネントを参照してください。
サポート対象の NVIDIA GPU デバイス
VMware Private AI Foundation with NVIDIA の使用を開始する前に、ESXi ホストの GPU が VMware by Broadcom によってサポートされていることを確認してください。
NVIDIA コンポーネント | サポートされているオプション |
---|---|
NVIDIA GPU |
|
GPU 共有モード |
|
必要な NVIDIA ソフトウェア
GPU デバイスは、最新の NVIDIA AI Enterprise (NVAIE) vGPU プロファイルをサポートしている必要があります。ガイダンスについては、『NVIDIA 仮想 GPU ソフトウェアでサポートされる GPU』ドキュメントを参照してください。
- VMware Cloud Foundation バージョンと互換性のある NVIDIA vGPU ホスト ドライバ(ESXi ホストの VIB を含む)。『VMware vSphere の仮想 GPU ソフトウェア リリース ノート』を参照してください。
- 展開された TKG クラスタの Kubernetes バージョンと互換性のある NVIDIA GPU Operator。『NVIDIA GPU Operator リリース ノート』および「VMware Tanzu Kubernetes リリース (TKr) リリース ノート」を参照してください。
必要な VMware Cloud Foundation 設定
VMware Private AI Foundation with NVIDIA を展開する前に、VMware Cloud Foundation で特定の構成が利用可能である必要があります。
- VMware Cloud Foundation ライセンス。
- VMware Private AI Foundation with NVIDIA アドオン ライセンス。
以下の機能にアクセスするには、VMware Private AI Foundation with NVIDIA アドオン ライセンスが必要です。
- カタログ アイテムのための VMware Aria Automation でのプライベート AI セットアップにより、GPU アクセラレーション ディープ ラーニング仮想マシンと TKG クラスタを簡単にプロビジョニングする。
- エンタープライズ サポート付きの pgvector 拡張機能を使用して PostgreSQL データベースをプロビジョニングする。
- VMware by Broadcom が提供するディープ ラーニング仮想マシン イメージを展開して使用する。
スーパーバイザーを有効にした状態および有効にしていない状態で AI ワークロードを展開し、VMware Cloud Foundation ライセンスの下で vCenter Server と VMware Aria Operations で GPU メトリックを使用できます。
- ESXi ホスト用のホスト ドライバ VIB ファイルとゲスト OS ドライバを含む、ライセンス付与された NVIDIA vGPU 製品。ガイダンスについては、『NVIDIA 仮想 GPU ソフトウェアでサポートされる GPU』ドキュメントを参照してください。
- https://nvid.nvidia.com/ からダウンロードした NVIDIA vGPU ホスト ドライバの VIB ファイル
- SDDC Manager で使用可能な vGPU ホスト マネージャ ドライバの VIB ファイルを含む vSphere Lifecycle Manager イメージ。VMware Cloud Foundation での vSphere Lifecycle Manager イメージの管理を参照してください。
- ホスト マネージャ ドライバ VIB ファイルを含む vSphere Lifecycle Manager イメージに基づく、少なくとも 3 台の ESXi GPU 対応ホストを含む VI ワークロード ドメイン。SDDC Manager ユーザー インターフェイスを使用した VI ワークロード ドメインの展開とVMware Cloud Foundation での vSphere Lifecycle Manager イメージの管理を参照してください。
- AI ワークロード用のクラスタ内の各 ESXi ホストに NVIDIA vGPU ホスト ドライバがインストールされ、vGPU が構成されていること。
- 各 ESXi ホストで、AI 操作のために BIOS で SR-IOV を有効にし、グラフィック デバイスで Shared Direct を有効にします。
SR-IOV の構成の詳細については、ハードウェア ベンダーのドキュメントを参照してください。グラフィック デバイスで Shared Direct を構成する方法については、「vSphere での仮想グラフィックの構成」を参照してください。
- 次のいずれかの方法で、各 ESXi ホストに NVIDIA vGPU ホスト マネージャ ドライバをインストールします。
- 各ホストにドライバをインストールし、ドライバの VIB ファイルをクラスタの vSphere Lifecycle イメージに追加します。
『NVIDIA 仮想 GPU ソフトウェア クイック スタート ガイド』を参照してください。
- ドライバの VIB ファイルをクラスタの vSphere Lifecycle イメージに追加し、ホストを修正します。
- 各ホストにドライバをインストールし、ドライバの VIB ファイルをクラスタの vSphere Lifecycle イメージに追加します。
- マルチインスタンス GPU (MIG) 共有を使用する場合は、クラスタ内の各 ESXi ホストで有効にします。
NVIDIA MIG ユーザー ガイドを参照してください。
- VI ワークロード ドメインの vCenter Server インスタンスで、
vgpu.hotmigrate.enabled
詳細設定をtrue
に設定して、vGPU を搭載した仮想マシンを vSphere vMotion を使用して移行できるようにします。「詳細設定の構成」を参照してください。
- 各 ESXi ホストで、AI 操作のために BIOS で SR-IOV を有効にし、グラフィック デバイスで Shared Direct を有効にします。