In qualità di amministratore del cloud, è necessario distribuire software specifico e configurare i domini dei carichi di lavoro VI di destinazione in modo che i data scientist e i tecnici DevOps possano distribuire carichi di lavoro AI oltre a VMware Private AI Foundation with NVIDIA.
Componenti di VMware in VMware Private AI Foundation with NVIDIA
La funzionalità della soluzione VMware Private AI Foundation with NVIDIA è disponibile in diversi componenti software.
- VMware Cloud Foundation 5.2
- VMware Aria Automation 8.18 e VMware Aria Automation 8.18
- VMware Aria Operations 8.18 e VMware Aria Operations 8.18
- VMware Data Services Manager 2.1
Per informazioni sull'architettura e i componenti di VMware Private AI Foundation with NVIDIA, vedere Architettura di sistema di VMware Private AI Foundation with NVIDIA.
Workflow di distribuzione per VMware Private AI Foundation with NVIDIA
La funzionalità di VMware Private AI Foundation with NVIDIA si basa su un set fondamentale di componenti con componenti aggiuntivi necessari per abilitare la distribuzione di uno dei seguenti tipi di carico di lavoro di IA:
- Deep Learning VM in generale
- Carichi di lavoro IA in un cluster TKG con accelerazione GPU in generale
- Carichi di lavoro RAG come Deep Learning VM o applicazioni di Deep Learning in cluster TKG con accelerazione GPU
La distribuzione di un carico di lavoro RAG estende l'approccio generale per Deep Learning VM e i carichi di lavoro AI nei cluster TKG con la distribuzione di un database PostgreSQL pgvector e la configurazione dell'applicazione con il database pgvector.
In un ambiente disconnesso è necessario eseguire passaggi aggiuntivi per configurare e distribuire le appliance e fornire risorse in locale, in modo che i carichi di lavoro possano accedervi.
- Ambiente connesso
-
Attività Casi d'uso della distribuzione dei carichi di lavoro di AI Passaggi Rivedere l'architettura e i requisiti per la distribuzione di VMware Private AI Foundation with NVIDIA. Tutte Configurare un'istanza del servizio di licenza nel portale delle licenze NVIDIA e generare un token di configurazione client. Guida per l'utente del sistema di licenze NVIDIA. Generare una chiave API per l'accesso al catalogo NVIDIA NGC. Pull ed esecuzione dei container aziendali NVIDIA AI Creare una libreria di contenuti per le immagini di Deep Learning VM. Distribuzione di una macchina virtuale di deep learning Creazione di una libreria di contenuti con immagini di macchine virtuali di deep learning per VMware Private AI Foundation with NVIDIA Abilitare vSphere IaaS control plane (in precedenza denominato vSphere with Tanzu). Tutte Configurazione di vSphere IaaS Control Plane per VMware Private AI Foundation with NVIDIA Distribuzione Distribuire VMware Aria Automation
utilizzando VMware Aria Suite Lifecycle in VMware Cloud Foundation mode.Tutte Necessaria se i data scientist e i tecnici DevOps distribuiranno i carichi di lavoro utilizzando elementi catalogo self-service in VMware Aria Automation.
Distribuire VMware Aria Operations utilizzando VMware Aria Suite Lifecycle in VMware Cloud Foundation mode. Tutte Gestione di operazioni intelligenti per VMware Cloud Foundation. Distribuire VMware Data Services Manager Distribuzione di un carico di lavoro RAG - Installazione e configurazione di VMware Data Services Manager
Distribuire un'istanza di VMware Data Services Manager nel dominio di gestione.
- Creazione di un elemento catalogo di un database vettore in VMware Aria Automation
Configurare una macchina che abbia accesso all'istanza del supervisore e che disponga di Docker, Helm e Kubernetes CLI Tools for vSphere. Tutte Necessaria se i carichi di lavoro di AI verranno distribuiti direttamente utilizzando il comando kubectl.
Installazione di Kubernetes CLI Tools for vSphere - Installazione e configurazione di VMware Data Services Manager
- Ambiente disconnesso
-
Attività Opzioni di distribuzione del carico di lavoro AI correlate Passaggi Rivedere i requisiti per la distribuzione di VMware Private AI Foundation with NVIDIA. Tutte Distribuire un'istanza di NVIDIA Delegated License Service. Installazione e configurazione dell'appliance virtuale DLS È possibile distribuire l'appliance virtuale nello stesso dominio dei carichi di lavoro AI o nel dominio di gestione.
- Registrare un'istanza di NVIDIA DLS nel portale delle licenze NVIDIA e associare e installare un server delle licenze in tale istanza.
- Generare un token di configurazione client.
Creare una libreria di contenuti per le immagini di Deep Learning VM Distribuzione di una macchina virtuale di deep learning Creazione di una libreria di contenuti con immagini di macchine virtuali di deep learning per VMware Private AI Foundation with NVIDIA Abilitare vSphere IaaS control plane (in precedenza denominato vSphere with Tanzu) Tutte Configurazione di vSphere IaaS Control Plane per VMware Private AI Foundation with NVIDIA - Configurare una macchina che abbia accesso a Internet in cui sono installati Docker e Helm installati.
- Configurare una macchina che abbia accesso a vCenter Server per il dominio del carico di lavoro VI, l'istanza del supervisore e il registro del container locale.
La macchina deve disporre di Docker, Helm e Kubernetes CLI Tools for vSphere.
Configurare una libreria di contenuti per le versioni di Tanzu Kubernetes (TKr) per Ubuntu - Distribuire un carico di lavoro RAG in un cluster TKG con accelerazione GPU
- Distribuire carichi di lavoro di AI in un cluster TKG con accelerazione GPU
Configurazione di una libreria di contenuti con TKr Ubuntu per un ambiente di VMware Private AI Foundation with NVIDIA disconnesso Configurare un servizio del registro Harbor nel supervisore. Tutte Necessaria se i carichi di lavoro di AI verranno distribuiti in un supervisore in vSphere IaaS control plane
In un ambiente senza vSphere IaaS control plane, per eseguire il pull delle immagini dei container in Deep Learning VM in esecuzione direttamente in un cluster vSphere, è necessario configurare un registro di un altro fornitore.
Configurazione di un registro Harbor privato in VMware Private AI Foundation with NVIDIA Caricare i componenti degli operatori NVIDIA nell'ambiente. - Distribuire un carico di lavoro RAG in un cluster TKG con accelerazione GPU
- Distribuire carichi di lavoro di AI in un cluster TKG con accelerazione GPU
Caricamento dei componenti di NVIDIA GPU Operator in un ambiente disconnesso Specificare una posizione da cui scaricare i driver guest della vGPU. Distribuzione di una macchina virtuale di deep learning Caricare in un server Web locale le versioni del driver guest della vGPU richieste scaricate dal portale delle licenze NVIDIA e un indice in uno dei formati seguenti: - File di indice .txt con un elenco dei file .run o .zip dei driver guest della vGPU.
host-driver-version-1 guest-driver-download-URL-1 host-driver-version-2 guest-driver-download-URL-2 host-driver-version-3 guest-driver-download-URL-3
- Indice di directory nel formato generato dai server Web, ad esempio NGINX e i server Apache HTTP. I file dei driver della vGPU specifici della versione devono essere forniti come file .zip.
Caricare le immagini dei container NVIDIA NGC in un registro di container privato, ad esempio il servizio registro Harbor del supervisore. Tutte In un ambiente senza vSphere IaaS control plane, per eseguire il pull delle immagini dei container in Deep Learning VM in esecuzione direttamente in un cluster vSphere, è necessario configurare un registro di un altro fornitore.
Caricamento delle immagini del container AI in un registro Harbor privato in VMware Private AI Foundation with NVIDIA Distribuire VMware Aria Automation utilizzando VMware Aria Suite Lifecycle in VMware Cloud Foundation mode. Tutte Necessaria se i data scientist e i tecnici DevOps distribuiranno i carichi di lavoro utilizzando elementi catalogo self-service in VMware Aria Automation.
Distribuire VMware Aria Operations utilizzando VMware Aria Suite Lifecycle in VMware Cloud Foundation mode. Tutte Gestione di operazioni intelligenti per VMware Cloud Foundation Distribuire VMware Data Services Manager Distribuzione di un carico di lavoro RAG - Installazione e configurazione di VMware Data Services Manager
Distribuire un'istanza di VMware Data Services Manager nel dominio di gestione.
- Creazione di un elemento catalogo di un database vettore in VMware Aria Automation
