Distribuzione di VMware Private AI Foundation with NVIDIA

In qualità di amministratore del cloud, è necessario distribuire software specifico e configurare i domini dei carichi di lavoro VI di destinazione in modo che i data scientist e i tecnici DevOps possano distribuire carichi di lavoro AI oltre a VMware Private AI Foundation with NVIDIA.

Componenti di VMware in VMware Private AI Foundation with NVIDIA

La funzionalità della soluzione VMware Private AI Foundation with NVIDIA è disponibile in diversi componenti software.

• VMware Cloud Foundation 5.1.1
• VMware Aria Automation 8.16.2 e VMware Aria Automation 8.17
• VMware Aria Operations 8.16 e VMware Aria Operations 8.17.1
• VMware Data Services Manager 2.0.x

Per informazioni sull'architettura e i componenti di VMware Private AI Foundation with NVIDIA, vedere Che cos'è VMware Private AI Foundation with NVIDIA?.

Workflow di distribuzione per VMware Private AI Foundation with NVIDIA

In un ambiente disconnesso è necessario eseguire passaggi aggiuntivi per configurare e distribuire le appliance e fornire risorse in locale, in modo che i carichi di lavoro possano accedervi.

Ambiente connesso

Attività	Opzioni di distribuzione del carico di lavoro AI correlate	Passaggi
Rivedere i requisiti per la distribuzione di VMware Private AI Foundation with NVIDIA.	Distribuzione di una macchina virtuale di deep learning Distribuzione di carichi di lavoro AI in un cluster TKG con accelerazione GPU Distribuzione di un carico di lavoro RAG	Requisiti per la distribuzione di VMware Private AI Foundation with NVIDIA
Configurare un'istanza del servizio di licenza nel portale delle licenze NVIDIA e generare un token di configurazione client.	Distribuzione di una macchina virtuale di deep learning Distribuzione di carichi di lavoro AI in un cluster TKG con accelerazione GPU Distribuzione di un carico di lavoro RAG	Guida per l'utente del sistema di licenze NVIDIA.
Generare una chiave API per l'accesso al catalogo NVIDIA NGC.	Distribuzione di una macchina virtuale di deep learning Distribuzione di carichi di lavoro AI in un cluster TKG con accelerazione GPU Distribuzione di un carico di lavoro RAG	Pull ed esecuzione dei container aziendali NVIDIA AI
Se si intende distribuire macchine virtuali di deep learning o cluster TKG direttamente in un supervisore in vSphere with Tanzu, configurare una macchina che abbia accesso all'istanza del supervisore e che disponga di Docker, Helm e strumenti della CLI Kubernetes per vSphere.	Distribuzione diretta di una macchina virtuale di deep learning mediante kubectl Distribuzione di carichi di lavoro AI in un cluster TKG con accelerazione GPU il cui provisioning viene eseguito utilizzando kubectl Distribuzione di un carico di lavoro RAG Distribuzione di una macchina virtuale di deep learning con un carico di lavoro RAG mediante kubectl Distribuzione di un carico di lavoro RAG in un cluster TKG	Installazione degli strumenti della CLI Kubernetes per vSphere
Abilitare vSphere With Tanzu.	Distribuzione diretta di una macchina virtuale di deep learning mediante kubectl Distribuzione di carichi di lavoro AI in un cluster TKG con accelerazione GPU il cui provisioning viene eseguito utilizzando kubectl Distribuzione di un carico di lavoro RAG Distribuzione di una macchina virtuale di deep learning con un carico di lavoro RAG mediante kubectl Distribuzione di un carico di lavoro RAG in un cluster TKG	Configurazione di vSphere with Tanzu per VMware Private AI Foundation with NVIDIA
Distribuire VMware Aria Automation.	Distribuzione diretta di una macchina virtuale di deep learning mediante un elemento catalogo self-service Distribuzione dei carichi di lavoro AI in un cluster TKG con accelerazione GPU il cui provisioning viene eseguito mediante un elemento catalogo self-service Distribuzione di un carico di lavoro RAG Distribuzione di una macchina virtuale di deep learning con un carico di lavoro RAG mediante un elemento catalogo self-service Distribuzione di un carico di lavoro RAG in un cluster TKG il cui provisioning viene eseguito mediante un elemento catalogo self-service	Configurazione di VMware Aria Automation per VMware Private AI Foundation with NVIDIA
Distribuire VMware Aria Operations.	Monitorare le metriche della GPU nel cluster, nel sistema host e nelle proprietà dell'host con la possibilità di aggiungere queste metriche ai dashboard personalizzati.	Per VMware Aria Operations 8.16, seguire le indicazioni di Gestione di operazioni intelligenti per VMware Cloud Foundation. Se si desidera utilizzare le funzionalità di monitoraggio della GPU estese in VMware Aria Operations 8.17.1, eseguire i passaggi seguenti: Applicare Product Support Pack per VMware Aria Operations 8.17.1 in VMware Aria Suite Lifecycle 8.16. Vedere Note di rilascio di Product Support Pack di VMware Aria Suite Lifecycle 8.16. Distribuire VMware Aria Operations in base a Gestione di operazioni intelligenti per VMware Cloud Foundation
Distribuire VMware Data Services Manager	Distribuzione di un carico di lavoro RAG	Installazione e configurazione di VMware Data Services Manager Distribuire un'istanza di VMware Data Services Manager nel dominio del carico di lavoro VI con i carichi di lavoro AI. Per poter eseguire il provisioning di un database PostgreSQL con estensione pgvector utilizzando un elemento catalogo self-service in VMware Aria Automation, distribuire VMware Data Services Manager 2.0.2.

Ambiente disconnesso

Attività	Opzioni di distribuzione del carico di lavoro AI correlate	Passaggi
Rivedere i requisiti per la distribuzione di VMware Private AI Foundation with NVIDIA.	Distribuzione di una macchina virtuale di deep learning Distribuzione di carichi di lavoro AI in un cluster TKG con accelerazione GPU Distribuzione di un carico di lavoro RAG	Requisiti per la distribuzione di VMware Private AI Foundation with NVIDIA
Distribuire un'istanza di NVIDIA Delegated License Service.	Distribuzione di una macchina virtuale di deep learning Distribuzione di carichi di lavoro AI in un cluster TKG con accelerazione GPU Distribuzione di un carico di lavoro RAG	Installazione e configurazione dell'appliance virtuale DLS È possibile distribuire l'appliance virtuale nello stesso dominio dei carichi di lavoro AI o nel dominio di gestione.
Registrare un'istanza di NVIDIA DLS nel portale delle licenze NVIDIA e associare e installare un server delle licenze in tale istanza. Generare un token di configurazione client.	Distribuzione di una macchina virtuale di deep learning Distribuzione di carichi di lavoro AI in un cluster TKG con accelerazione GPU Distribuzione di un carico di lavoro RAG	Configurazione di un'istanza del servizio Gestione di licenze in un server delle licenze.
Abilitare vSphere With Tanzu	Distribuzione diretta di una macchina virtuale di deep learning mediante kubectl Distribuzione di carichi di lavoro AI in un cluster TKG con accelerazione GPU il cui provisioning viene eseguito utilizzando kubectl Distribuzione di un carico di lavoro RAG Distribuzione di una macchina virtuale di deep learning con un carico di lavoro RAG mediante kubectl Distribuzione di un carico di lavoro RAG in un cluster TKG	Configurazione di vSphere with Tanzu per VMware Private AI Foundation with NVIDIA
Configurare un servizio del registro Harbor nel supervisore.	Distribuzione di una macchina virtuale di deep learning Distribuzione diretta di una macchina virtuale di deep learning mediante kubectl Distribuzione diretta di una macchina virtuale di deep learning mediante un elemento catalogo self-service Distribuzione di carichi di lavoro AI in un cluster TKG con accelerazione GPU Distribuzione di un carico di lavoro RAG Distribuzione di una macchina virtuale di deep learning con un carico di lavoro RAG mediante kubectl Distribuzione diretta di una macchina virtuale di deep learning mediante un elemento catalogo self-service Distribuzione di un carico di lavoro RAG in un cluster TKG	Configurazione di un registro Harbor privato in VMware Private AI Foundation with NVIDIA
Specificare una posizione da cui scaricare i driver guest della vGPU.	Distribuzione di una macchina virtuale di deep learning	Caricare in un server Web locale le versioni del driver guest della vGPU richieste e un indice in uno dei formati seguenti: File di indice con un elenco dei file .run dei driver guest della vGPU. host-driver-version-1 guest-driver-download-URL-1 host-driver-version-2 guest-driver-download-URL-2 host-driver-version-3 guest-driver-download-URL-3 Indice di directory nel formato generato dai server Web, ad esempio NGINX e i server Apache HTTP.
Caricare le immagini dei container NVIDIA NGC in un registro di container privato, ad esempio il servizio registro Harbor del supervisore.	Distribuzione di una macchina virtuale di deep learning Distribuzione diretta di una macchina virtuale di deep learning mediante kubectl Distribuzione diretta di una macchina virtuale di deep learning mediante un elemento catalogo self-service Distribuzione di carichi di lavoro AI in un cluster TKG con accelerazione GPU Distribuzione di un carico di lavoro RAG Distribuzione di una macchina virtuale di deep learning con un carico di lavoro RAG mediante kubectl Distribuzione diretta di una macchina virtuale di deep learning mediante un elemento catalogo self-service Distribuzione di un carico di lavoro RAG in un cluster TKG	Caricamento delle immagini del container AI in un registro Harbor privato in VMware Private AI Foundation with NVIDIA
Distribuire VMware Aria Automation	Distribuzione diretta di una macchina virtuale di deep learning mediante un elemento catalogo self-service Distribuzione dei carichi di lavoro AI in un cluster TKG con accelerazione GPU il cui provisioning viene eseguito mediante un elemento catalogo self-service Distribuzione di un carico di lavoro RAG Distribuzione diretta di una macchina virtuale di deep learning mediante un elemento catalogo self-service Distribuzione di un carico di lavoro RAG in un cluster TKG il cui provisioning viene eseguito mediante un elemento catalogo self-service	Configurazione di VMware Aria Automation per VMware Private AI Foundation with NVIDIA
Distribuire VMware Aria Operations	Monitorare le metriche della GPU nel cluster, nel sistema host e nelle proprietà dell'host con la possibilità di aggiungere queste metriche ai dashboard personalizzati.	Per VMware Aria Operations 8.16, seguire le indicazioni di Gestione di operazioni intelligenti per VMware Cloud Foundation. Se si desidera utilizzare le funzionalità di monitoraggio della GPU estese in VMware Aria Operations 8.17.1, eseguire i passaggi seguenti: Applicare Product Support Pack per VMware Aria Operations 8.17.1 in VMware Aria Suite Lifecycle 8.16. Vedere Note di rilascio di Product Support Pack di VMware Aria Suite Lifecycle 8.16. Distribuire VMware Aria Operations in base a Gestione di operazioni intelligenti per VMware Cloud Foundation
Distribuire VMware Data Services Manager	Distribuzione di un carico di lavoro RAG	Installazione e configurazione di VMware Data Services Manager Distribuire un'istanza di VMware Data Services Manager nel dominio del carico di lavoro VI con i carichi di lavoro AI. Per poter eseguire il provisioning di un database PostgreSQL con estensione pgvector utilizzando un elemento catalogo self-service in VMware Aria Automation, distribuire VMware Data Services Manager 2.0.2.
Configurare una macchina che abbia accesso a Internet in cui sono installati Docker e Helm installati. Configurare una macchina che abbia accesso a vCenter Server per il dominio del carico di lavoro VI, l'istanza del supervisore e il registro del container locale. La macchina deve disporre di Docker, Helm e strumenti della CLI Kubernetes per vSphere.	Distribuzione di una macchina virtuale di deep learning Distribuzione di un cluster TKG con accelerazione GPU Distribuzione di un carico di lavoro RAG	Installazione degli strumenti della CLI Kubernetes per vSphere Installazione di VMware vSphere with VMware Tanzu (air gap)