データ サイエンティストまたは DevOps エンジニアである場合は、AI ワークステーション セルフサービス カタログ アイテムを使用して、Automation Service Broker からディープ ラーニング仮想マシンを展開できます。

Automation Service Broker カタログでディープ ラーニング仮想マシンを要求する場合は、GPU 対応のディープ ラーニング仮想マシンをプロビジョニングします。この仮想マシンは、 NVIDIA から目的の vCPU、vGPU、メモリ、AI/ML NGC コンテナを使用して構成できます。vGPU ゲスト ドライバと指定されたディープ ラーニング ワークロードは、ディープ ラーニング仮想マシンを初めて起動するときにインストールされます。

NVIDIA RAG ワークロードを持つディープ ラーニング仮想マシンの場合は、[AI RAG Workstation] カタログ アイテムを使用します。VMware Aria Automation のセルフサービス カタログ アイテムを使用して RAG ワークロードを備えたディープ ラーニング仮想マシンを展開するを参照してください。

前提条件

  • クラウド管理者がプロジェクトで Private AI Automation Services を構成していることを確認します。
  • AI カタログ アイテムを要求する権限があることを確認します。

VMware Aria Automation でセルフサービス カタログ アイテムを使用してディープ ラーニング仮想マシンを展開する

データ サイエンティストである場合は、セルフサービス Automation Service Broker カタログから単一の GPU Software-Defined 開発環境を展開できます。

マシン パラメータを使用して GPU 対応の仮想マシンをカスタマイズし、開発要件をモデル化し、トレーニングおよび推論の要件を満たすための AI/ML フレームワークを事前インストールし、ポータル アクセス キーを介して NVIDIA NGC レジストリから AI/ML パッケージを指定できます。

手順

  1. Automation Service Broker の [カタログ] ページで、[AI Workstation] カードを見つけて、[要求] をクリックします。
  2. プロジェクトを選択します。
  3. 展開の名前と説明を入力します。
  4. AI ワークステーション パラメータを構成します。
    設定 サンプル値
    仮想マシン クラス A100 Small - 1 個の vGPU (16 GB)、8 個の CPU、16 GB のメモリ
    データ ディスク サイズ 32 GB
    ユーザー パスワード デフォルト ユーザーのパスワードを入力します。初回ログイン時にパスワードのリセットを求められる場合があります。
    SSH パブリック キー このフィールド値の指定は任意です。
  5. ワークステーションにインストールするソフトウェア バンドルを選択します。
    サポートされているディープ ラーニング ワークロードには、PyTorch、TensorFlow、および CUDA サンプルが含まれます。詳細については、「 VMware Private AI Foundation with NVIDIA のディープ ラーニング ワークロード」を参照してください。
  6. （オプション） ソフトウェア バンドルに定義されている cloud-init に加えて、インストールするカスタム cloud-init を入力します。
    VMware Aria Automation は、ソフトウェア バンドルとカスタム cloud-init から cloud-init をマージします。
  7. NVIDIA NGC API キーを指定します。
  8. （オプション） ロード バランサを介して NVIDIA Data Center GPU Manager (DCGM) メトリックを公開します。
    NVIDIA DCGM は、データセンター環境の GPU を管理および監視します。
  9. （オプション） PyTorch または TensorFlow NGC ソフトウェア バンドルをインストールする場合は、JupyterLab 認証を有効にします。
  10. [送信] をクリックします。

結果

[展開の概要] タブには、インストールされたソフトウェアのサマリと、アプリケーション、サービス、およびディープ ラーニング仮想マシンにアクセスする方法が表示されます。

VMware Aria Automation のセルフサービス カタログ アイテムを使用して、NVIDIA Triton Inference Server を備えたディープ ラーニング仮想マシンを展開する

データ サイエンティストである場合は、セルフサービス Automation Service Broker カタログから NVIDIA Triton Inference Server を使用して GPU 対応のディープ ラーニングを展開できます。

展開されたワークステーションには、Ubuntu 22.04、 NVIDIA vGPU ドライバ、Docker Engine、 NVIDIA Container Toolkit、および NVIDIA Triton Inference Server が含まれています。

手順

  1. Automation Service Brokerの [カタログ] ページで、[Triton Inferencing Server] カードを見つけて、[要求] をクリックします。
  2. プロジェクトを選択します。
  3. 展開の名前と説明を入力します。
  4. AI ワークステーション パラメータを構成します。
    設定 サンプル値
    仮想マシン クラス A100 Small - 1 個の vGPU (16 GB)、8 個の CPU、16 GB のメモリ

    Triton Inferencing Server を実行するには、統合仮想メモリ (UVM) をサポートする仮想マシン クラスが必要です。
    データ ディスク サイズ 32 GB
    ユーザー パスワード デフォルト ユーザーのパスワードを入力します。初回ログイン時にパスワードのリセットを求められる場合があります。
    SSH パブリック キー このフィールド値の指定は任意です。
  5. （オプション） ソフトウェア バンドルに定義されている cloud-init に加えて、インストールするカスタム cloud-init を入力します。
    VMware Aria Automation は、ソフトウェア バンドルとカスタム cloud-init から cloud-init をマージします。
  6. （オプション） ロード バランサを介して NVIDIA Data Center GPU Manager (DCGM) メトリックを公開します。
    NVIDIA DCGM は、データセンター環境の GPU を管理および監視します。
  7. [送信] をクリックします。