クラウド管理者は、データ サイエンティストと DevOps エンジニアが AI ワークロードを VMware Private AI Foundation with NVIDIA 上に展開できるように、固有のソフトウェアを展開し、ターゲット VI ワークロード ドメインを構成する必要があります。
VMware Private AI Foundation with NVIDIA の VMware コンポーネント
VMware Private AI Foundation with NVIDIA ソリューションの機能は、VMware Cloud Foundation および特定のバージョンの VMware Aria Automation、VMware Aria Operations、および VMware Data Services Manager で使用できます。
| VMware Cloud Foundation のバージョン | VMware Aria コンポーネントと VMware Data Services Manager のバージョン |
|---|---|
| VMware Cloud Foundation 5.2.1 |
|
| VMware Cloud Foundation 5.2
注： このドキュメントは、
VMware Cloud Foundation 5.2.1 に基づいています。
VMware Cloud Foundation 5.2 の
VMware Private AI Foundation with NVIDIA 機能の詳細については、
VMware Cloud Foundation 5.2 向け VMware Private AI Foundation with NVIDIA ガイドを参照してください。
|
|
VMware Private AI Foundation with NVIDIA アーキテクチャとコンポーネントの詳細については、「VMware Private AI Foundation with NVIDIA のシステム アーキテクチャ」を参照してください。
vSphere Client でのガイド付き展開
VMware Cloud Foundation 5.2.1 以降では、vSphere Client のガイド付き展開ユーザー インターフェイスを使用して、VMware Private AI Foundation with NVIDIA コンポーネントを完全に設定できます。ガイド付き展開ユーザー インターフェイスは SDDC Manager に接続して、要求された操作を実行します。
VMware Private AI Foundation with NVIDIA のガイド付き展開を開くには、次の手順を実行します。
- vSphere Client (https://<management_vcenter_server>/ui) を使用して、管理 vCenter Server に [email protected] としてログインします。
- [vSphere Client] サイド パネルで、[Private AI Foundation] をクリックし、VMware Private AI Foundation with NVIDIA ライセンスを入力します。
ライセンス キーは、ソリューション ライセンスとして管理 vCenter Server に割り当てられます。
- ウィザードに従って、以下の展開ワークフローどおりに VMware Private AI Foundation with NVIDIA の設定を完了します。
VMware Private AI Foundation with NVIDIA の展開ワークフロー
VMware Private AI Foundation with NVIDIA の機能は、次のいずれかの AI ワークロード タイプの展開を可能にするために必要な追加コンポーネントを含むコンポーネントの基本セットに基づいています。
- 一般的なディープ ラーニング仮想マシン
- GPU アクセラレーション TKG クラスタ上の一般的な AI ワークロード
- GPU アクセラレーション TKG クラスタ上のディープ ラーニング仮想マシンまたはアプリケーションとしての RAG ワークロード
RAG ワークロードの展開は、pgvector PostgreSQL データベースの展開と pgvector データベースを使用したアプリケーションの構成により、TKG クラスタ上のディープ ラーニング仮想マシンと AI ワークロードの一般的なアプローチを拡張します。
切断された環境では、アプライアンスをセットアップして展開し、ローカルでリソースを提供して、ワークロードがアクセスできるようにするための追加の手順を実行する必要があります。
- 接続された環境
-
タスク AI ワークロード展開のユースケース 手順 VMware Private AI Foundation with NVIDIA を展開するためのアーキテクチャと要件を確認します。 すべて NVIDIA ライセンス ポータルでライセンス サービス インスタンスを構成し、クライアント構成トークンを生成します。 NVIDIA ライセンス システム ユーザー ガイド。 NVIDIA NGC カタログにアクセスするための API キーを生成します。 NVIDIA AI Enterprise コンテナのプルと実行 GPU アクセラレーション VI ワークロード ドメインを展開します。 VMware Private AI Foundation with NVIDIA 用の GPU アクセラレーション VI ワークロード ドメインの展開 vSphere IaaS control plane（以前の vSphere with Tanzu）を有効にします。 すべて データ サイエンティストおよび DevOps エンジニアが、VMware Aria Automation のセルフサービス カタログ アイテム、または kubectl コマンドを使用してワークロードを展開する場合に必要です。
VMware Private AI Foundation with NVIDIA の vSphere IaaS Control Plane の構成 ディープ ラーニング仮想マシン イメージ用のコンテンツ ライブラリを作成します。 ディープ ラーニング仮想マシンを展開する VMware Private AI Foundation with NVIDIA のディープ ラーニング仮想マシン イメージを含むコンテンツ ライブラリを作成する AI ワークロード用に vGPU ベースの仮想マシン クラスを構成します。 すべて VMware Private AI Foundation with NVIDIA の AI ワークロード用に vGPU ベースの仮想マシン クラスを構成する AI ワークロードの vSphere 名前空間を構成します。 すべて GPU アクセラレーション ワークロードの vSphere 名前空間の構成 VMware Aria Automation の展開
VMware Aria Suite Lifecycle in VMware Cloud Foundation mode を使用して展開します。すべて データ サイエンティストおよび DevOps エンジニアが、VMware Aria Automation のセルフサービス カタログ アイテムを使用してワークロードを展開する場合に必要です。
VMware Aria Suite Lifecycle in VMware Cloud Foundation mode を使用して VMware Aria Operations を展開します。 すべて VMware Cloud Foundation のためのインテリジェントな運用管理。 VMware Data Services Manager の展開 RAG ワークロードを展開する - VMware Data Services Manager のインストールと構成
VMware Data Services Manager インスタンスを管理ドメインに展開します。
- スーパーバイザー サービスとして Data Services Manager Consumption Operator をインストールします。vSphere スーパーバイザー サービス カタログを参照してください。
- 少なくとも 1 つのインフラストラクチャ ポリシーで VMware Data Services Manager を構成します。インフラストラクチャ ポリシーの作成を参照してください。
スーパーバイザー インスタンスにアクセスでき、Docker、Helm、および Kubernetes CLI Tools for vSphere を備えたマシンをセットアップします。 すべて kubectl コマンドを使用して AI ワークロードを直接展開する場合に必要です。
Kubernetes CLI Tools for vSphere のインストール VMware Cloud Foundation 5.2.1 以降では、スーパーバイザーで Harbor レジストリ サービスをセットアップします。 すべて これは、次の場合に必須です。
- AI ワークロードが vSphere IaaS control plane のスーパーバイザーに展開される。
- 検証済みの ML モデルを格納するために Harbor のモデル ギャラリーを使用する予定がある。
VMware Private AI Foundation with NVIDIA でのプライベート Harbor レジストリの設定 - VMware Data Services Manager のインストールと構成
- 切断された環境
-
タスク 関連する AI ワークロードの展開オプション 手順 VMware Private AI Foundation with NVIDIA の展開の要件を参照してください。 すべて NVIDIA 委任ライセンス サービス インスタンスを展開します。 DLS 仮想アプライアンスのインストールと構成 仮想アプライアンスは、AI ワークロードと同じワークロード ドメインに展開するか、または管理ドメインに展開できます。
- NVIDIA ライセンス ポータルに NVIDIA DLS インスタンスを登録し、ライセンス サーバをバインドしてインストールします。
- クライアント構成トークンを生成します。
GPU アクセラレーション VI ワークロード ドメインを展開します。 VMware Private AI Foundation with NVIDIA 用の GPU アクセラレーション VI ワークロード ドメインの展開 vSphere IaaS control plane（以前の vSphere with Tanzu）を有効にします。 すべて VMware Private AI Foundation with NVIDIA の vSphere IaaS Control Plane の構成 ディープ ラーニング仮想マシン イメージ用のコンテンツ ライブラリを作成します。 ディープ ラーニング仮想マシンを展開する VMware Private AI Foundation with NVIDIA のディープ ラーニング仮想マシン イメージを含むコンテンツ ライブラリを作成する AI ワークロードの vSphere 名前空間を構成します。 すべて GPU アクセラレーション ワークロードの vSphere 名前空間の構成 - インターネットにアクセスでき、Docker と Helm がインストールされているマシンをセットアップします。
- VI ワークロード ドメインの vCenter Server、スーパーバイザー インスタンス、およびローカル コンテナ レジストリにアクセスできるマシンをセットアップします。
マシンには、Docker、Helm、および Kubernetes CLI Tools for vSphere がインストールされている必要があります。
すべて スーパーバイザーで Harbor レジストリ サービスをセットアップします。 すべて AI ワークロードが vSphere IaaS control plane のスーパーバイザーに展開される場合に必要です。
vSphere IaaS control plane のない環境で、vSphere クラスタで直接実行されているディープ ラーニング仮想マシンでコンテナ イメージをプルするには、別のベンダーのレジストリを構成する必要があります。
VMware Private AI Foundation with NVIDIA でのプライベート Harbor レジストリの設定 Ubuntu の Tanzu Kubernetes リリース (TKr) のコンテンツ ライブラリを構成します。 - GPU アクセラレーション TKG クラスタに RAG ワークロードを展開する
- GPU アクセラレーション TKG クラスタに AI ワークロードを展開する
切断された VMware Private AI Foundation with NVIDIA 環境用に Ubuntu TKr でコンテンツ ライブラリを構成する NVIDIA Operator のコンポーネントを環境にアップロードします。 - GPU アクセラレーション TKG クラスタに RAG ワークロードを展開する
- GPU アクセラレーション TKG クラスタに AI ワークロードを展開する
切断された環境への NVIDIA GPU Operator コンポーネントのアップロード vGPU ゲスト ドライバをダウンロードする場所を指定します。 ディープ ラーニング仮想マシンを展開する NVIDIA ライセンス ポータルからダウンロードされた必要な vGPU ゲスト ドライバ バージョンと、次のいずれかの形式のインデックスをローカル Web サーバにアップロードします。 - vGPU ゲスト ドライバの .run または .zip ファイルのリストを含むインデックス .txt ファイル。
host-driver-version-1 guest-driver-download-URL-1 host-driver-version-2 guest-driver-download-URL-2 host-driver-version-3 guest-driver-download-URL-3
- NGINX や Apache HTTP Server などの Web サーバによって生成された形式のディレクトリ インデックス。バージョン固有の vGPU ドライバ ファイルは、.zip ファイルとして指定する必要があります。
NVIDIA NGC コンテナ イメージを、スーパーバイザーの Harbor レジストリ サービスなどのプライベート コンテナ レジストリにアップロードします。 すべて vSphere IaaS control plane のない環境で、vSphere クラスタで直接実行されているディープ ラーニング仮想マシンでコンテナ イメージをプルするには、別のベンダーのレジストリを構成する必要があります。
VMware Private AI Foundation with NVIDIA のプライベート Harbor レジストリに AI コンテナ イメージをアップロードする VMware Aria Suite Lifecycle in VMware Cloud Foundation mode を使用して VMware Aria Automation を展開します。 すべて データ サイエンティストおよび DevOps エンジニアが、VMware Aria Automation のセルフサービス カタログ アイテムを使用してワークロードを展開する場合に必要です。
VMware Aria Suite Lifecycle in VMware Cloud Foundation mode を使用して VMware Aria Operations を展開します。 すべて VMware Cloud Foundation のためのインテリジェントな運用管理 VMware Data Services Manager の展開 RAG ワークロードを展開する - VMware Data Services Manager のインストールと構成
また、vSphere Client のガイド付き展開ユーザー インターフェイスを使用して、管理ドメインに VMware Data Services Manager インスタンスを展開することもできます。
- スーパーバイザー サービスとして Data Services Manager Consumption Operator をインストールします。vSphere スーパーバイザー サービス カタログを参照してください。
- 少なくとも 1 つのインフラストラクチャ ポリシーで VMware Data Services Manager を構成します。インフラストラクチャ ポリシーの作成を参照してください。
