VMware Private AI Foundation with NVIDIA のディープ ラーニング仮想マシン テンプレートをデータ サイエンティストがすばやくテストできるようにするには、クラウド管理者が vSphere Client を使用してディープ ラーニング仮想マシンを vSphere クラスタに直接展開できます。

VMware Private AI Foundation with NVIDIA のディープ ラーニング仮想マシン イメージの詳細については、「 VMware Private AI Foundation with NVIDIA のディープ ラーニング仮想マシン イメージについて」を参照してください。

NVIDIA RAG を備えたディープ ラーニング仮想マシンを展開するには、ベクター データベースが必要です。VMware Data Services Manager では、pgvector を備えた PostgreSQL データベースを使用できます。このようなデータベースを展開し、ディープ ラーニング仮想マシンに統合する方法については、「RAG ワークロードでディープ ラーニング仮想マシンを展開する」を参照してください。

前提条件

VMware Private AI Foundation with NVIDIA がデプロイされ、構成されていることを確認します。プライベート AI ワークロード展開のための VMware Cloud Foundation の準備を参照してください。

手順

  1. VI ワークロード ドメインの vCenter Server インスタンスにログインします。
  2. vSphere Client のホーム メニューから、[コンテンツ ライブラリ] を選択します。
  3. コンテンツ ライブラリのディープ ラーニング仮想マシン イメージに移動します。
  4. OVF テンプレートを右クリックして、[このテンプレートから仮想マシンを新規作成] を選択します。
  5. 表示されるウィザードの [名前とフォルダの選択] ページで、名前を入力して仮想マシン フォルダを選択し、[この仮想マシンのハードウェアをカスタマイズ] を選択して、[次へ] をクリックします。
  6. VI ワークロード ドメインで GPU 対応クラスタを選択し、展開の完了後に仮想マシンをパワーオンする必要があるかどうかを選択して、[次へ] をクリックします。
  7. ウィザードに従ってクラスタのデータストアと Distributed Switch 上のネットワークを選択します。
  8. [テンプレートのカスタマイズ] ページで、AI 機能の設定に必要なカスタムの仮想マシン プロパティを入力し、[次へ] をクリックします。
    ディープ ラーニング仮想マシンの OVF プロパティを参照してください。
  9. [ハードウェアのカスタマイズ] ページで、NVIDIA vGPU デバイスを仮想マシンに [新しい PCI デバイス] として割り当て、[次へ] をクリックします。

    NVIDIA RAG を実行しているディープ ラーニング仮想マシンの場合は、タイム スライス モードのフルサイズ vGPU プロファイルまたは MIG プロファイルを選択します。たとえば、vGPU タイム スライス モードの NVIDIA A100 40GB の場合は、[nvidia_a100-40c] を選択します。

  10. NVIDIA RAG を実行しているディープ ラーニング仮想マシン、または TensorRT バックエンドを備えた Triton Inference Server を使用しているディープ ラーニング仮想マシンの場合は、仮想マシン設定の [詳細パラメータ] タブで、pciPassthru<vgpu-id>.cfg.enable_uvm パラメータを 1 に設定します。

    ここで、<vgpu-id> は仮想マシンに割り当てられた vGPU を識別します。たとえば、2 つの vGPU が仮想マシンに割り当てられている場合は、pciPassthru0.cfg.parameter=1 と pciPassthru1.cfg.parameter = 1 を設定します。

    重要： この構成により、ディープ ラーニング仮想マシンの vSphere vMotion 移行がオフになります。
  11. 展開の仕様を確認し、[完了] をクリックします。

結果

ディープ ラーニング仮想マシンを初めて起動すると、vGPU ゲスト ドライバと指定されたディープ ラーニング ワークロードがインストールされます。

ログを調べたり、一部のイメージに付属している JupyterLab インスタンスを開いたりできます。アクセスの詳細を組織内のデータ サイエンティストと共有できます。VMware Private AI Foundation with NVIDIA のディープ ラーニング ワークロードを参照してください。

次のタスク

  • SSH 経由でディープ ラーニング仮想マシンに接続し、すべてのコンポーネントがインストールされ、期待どおりに実行されていることを確認します。
  • アクセスの詳細をデータ サイエンティストに送信します。