VMware Private AI Foundation with NVIDIA の一部として提供されるディープ ラーニング仮想マシン イメージは、一般的な ML ライブラリ、フレームワーク、ツールキットで事前構成されており、NVIDIA と VMware によって、VMware Cloud Foundation 環境での GPU アクセラレーション用に最適化され、検証されています。

データ サイエンティストは、これらのイメージからプロビジョニングされたディープ ラーニング仮想マシンを使用して、AI のプロトタイピング、微調整、検証、推論を行うことができます。

NVIDIA GPU 上で AI アプリケーションを実行するためのソフトウェア スタックは、事前に検証されています。その結果、オペレーティング システム、ソフトウェア ライブラリ、ML フレームワーク、ツールキット、GPU ドライバのインストールと互換性の検証に時間を費やすことなく、AI 開発を直接開始できます。

ディープ ラーニング仮想マシン イメージの内容

最新のディープ ラーニング仮想マシン イメージには、次のソフトウェアが含まれています。各ディープ ラーニング仮想マシン イメージ リリースのコンポーネント バージョンについては、『VMware ディープ ラーニング仮想マシン リリース ノート』を参照してください。

ソフトウェア コンポーネント カテゴリ ソフトウェア コンポーネント
組み込み
  • Canonical Ubuntu
  • NVIDIA Container Toolkit
  • Docker Community Engine
  • Miniconda と PyTorch Conda マニフェスト。
ディープ ラーニング仮想マシンを初めて起動するときに自動的に事前インストール可能
  • vGPU ホスト ドライバのバージョンに応じた vGPU ゲスト ドライバ
ディープ ラーニング (DL) ワークロード

CUDA サンプル

CUDA サンプルを実行しているディープ ラーニング仮想マシンを使用して、ベクトル加法、重力 N 体シミュレーショ、またはその他のサンプルを仮想マシンで調べることができます。NVIDIA NGC カタログの「CUDA サンプル」ページを参照してください。

PyTorch。

PyTorch ライブラリを備えたディープ ラーニング仮想マシンを使用して、仮想マシン上で対話型 AI、NLP、およびその他のタイプの AI モデルを探索できます。NVIDIA NGC カタログの「PyTorch」ページを参照してください。

PyTorch がインストールされ、http://dl_vm_ip:8888 で構成された、準備完了状態の JupyterLab インスタンスを使用できます。

TensorFlow。TensorFlow ライブラリを備えたディープ ラーニング仮想マシンを使用して、仮想マシン上で対話型 AI、NLP、およびその他のタイプの AI モデルを探索できます。NVIDIA NGC カタログの「TensorFlow」ページを参照してください。

TensorFlow がインストールされ、http://dl_vm_ip:8888 で構成された、準備完了状態の JupyterLab インスタンスを使用できます。
DCGM Exporter

ディープ ラーニング仮想マシンを Data Center GPU Manager (DCGM) Exporter とともに使用すると、NVIDIA DCGM、Prometheus、Grafana を使用して、DL ワークロードで使用される GPU の健全性を監視し、メトリックを取得できます。NVIDIA NGC カタログの「DCGM Exporter」ページを参照してください。

ディープ ラーニング仮想マシンでは、AI 操作を実行する DL ワークロードとともに DCGM Exporter コンテナを実行します。ディープ ラーニング仮想マシンが起動すると、DCGM Exporter は、vGPU メトリックを収集し、データを別のアプリケーションにエクスポートして、さらに監視および視覚化できるようになります。

DCGM Exporter を使用して Prometheus および Grafana でメトリックを視覚化する方法については、「DCGM Exporter のインストールと初期セットアップ」を参照してください。
Triton Inference Server

Triton Inference Server を備えたディープ ラーニング仮想マシンを使用して、モデル リポジトリをロードし、推論リクエストを受信できます。NVIDIA NGC カタログの「Triton Inference Server」ページを参照してください。

AI モデルの推論リクエストに Triton Inference Server を使用する方法については、「Triton Inference Server のインストールと初期セットアップ」を参照してください。
NVIDIA RAG

ディープ ラーニング仮想マシンを使用して、Llama2 モデルの Retrieval Augmented Generation (RAG) ソリューションを構築できます。NVIDIA RAG Applications Docker Compose のドキュメントを参照してください（特定のアカウント権限が必要）。

http://dl_vm_ip:3001/orgs/nvidia/models/text-qa-chatbot でアクセスできるチャットボット Web アプリケーションの例。独自のナレッジベースをアップロードできます。

ディープ ラーニング仮想マシンの展開

データ サイエンティストは、VMware Aria Automation のカタログ アイテムを使用して、独自にディープ ラーニング仮想マシンを展開できます。それ以外の場合は、クラウド管理者または DevOps エンジニアがこのような仮想マシンを展開します。