DevOps エンジニアは、セルフサービス Automation Service Broker カタログから RAG リファレンス ソリューションを備えたディープ ラーニング仮想マシンを展開できます。

手順

  1. Automation Service Broker の [カタログ] ページで、[AI RAG Workstation] カードを見つけて、[要求] をクリックします。
  2. プロジェクトを選択します。
  3. 展開の名前と説明を入力します。
  4. RAG ワークステーション パラメータを構成します。
    設定 サンプル値
    仮想マシン クラス A100 Small - 1 個の vGPU (16 GB)、8 個の CPU、16 GB のメモリ
    仮想マシン クラスの最小仕様：
    • CPU：10 個の vCPU
    • CPU RAM：64 GB
    • GPU：2xH100
    • GPU メモリ：50 GB
    データ ディスク サイズ 3 Gi
    ユーザー パスワード デフォルト ユーザーのパスワードを入力します。初回ログイン時にパスワードのリセットを求められる場合があります。
    SSH パブリック キー このフィールド値の指定は任意です。
  5. ソフトウェア カスタマイズをインストールします。
    1. （オプション） RAG ソフトウェア バンドルに定義されている cloud-init に加えてカスタム cloud-init をインストールする場合は、チェックボックスをオンにして、構成パッケージの内容を貼り付けます。
      VMware Aria Automation は、RAG ソフトウェア バンドルとカスタム cloud-init から cloud-init をマージします。
    2. NVIDIA NGC ポータルのアクセス キーを指定します。
    3. Docker Hub 認証情報を入力します。
  6. [送信] をクリックします。

結果

ディープ ラーニング仮想マシンには、Ubuntu 22.04、NVIDIA vGPU ドライバ、Docker エンジン、NVIDIA Container Toolkit、および Llama-2-13b-chat モデルを使用するリファレンス RAG ソリューションが含まれています。