In qualità di amministratore del cloud, è necessario distribuire software specifico e configurare i domini dei carichi di lavoro VI di destinazione in modo che i data scientist e i tecnici DevOps possano distribuire carichi di lavoro AI oltre a VMware Private AI Foundation with NVIDIA.
Componenti di VMware in VMware Private AI Foundation with NVIDIA
La funzionalità della soluzione VMware Private AI Foundation with NVIDIA è disponibile in VMware Cloud Foundation e in alcune versioni di VMware Aria Automation, VMware Aria Operations e VMware Data Services Manager.
| Versione VMware Cloud Foundation | Versioni di VMware Aria Components e VMware Data Services Manager |
|---|---|
| VMware Cloud Foundation 5.2.1 |
|
| VMware Cloud Foundation 5.2
Nota: Questa documentazione si basa su
VMware Cloud Foundation 5.2.1. Per informazioni sulla funzionalità
VMware Private AI Foundation with NVIDIA in
VMware Cloud Foundation 5.2, vedere
Guida di VMware Private AI Foundation with NVIDIA per VMware Cloud Foundation 5.2.
|
|
Per informazioni sull'architettura e i componenti di VMware Private AI Foundation with NVIDIA, vedere Architettura di sistema di VMware Private AI Foundation with NVIDIA.
Distribuzione guidata in vSphere Client
A partire da VMware Cloud Foundation 5.2.1, è possibile configurare completamente i componenti di VMware Private AI Foundation with NVIDIA utilizzando l'interfaccia utente della distribuzione guidata in vSphere Client. L'interfaccia utente della distribuzione guidata si connette a SDDC Manager per eseguire le operazioni richieste.
Per aprire la distribuzione guidata per VMware Private AI Foundation with NVIDIA, eseguire i passaggi seguenti:
- Accedere al vCenter Server di gestione utilizzando vSphere Client all'indirizzo https://<management_vcenter_server>/ui come [email protected].
- Nel pannello laterale di vSphere Client, fare clic su Private AI Foundation e immettere la licenza di VMware Private AI Foundation with NVIDIA.
La chiave di licenza viene assegnata al vCenter Server di gestione come licenza della soluzione.
- Eseguire la procedura guidata per completare la configurazione di VMware Private AI Foundation with NVIDIA in base ai workflow di distribuzione seguenti.
Workflow di distribuzione per VMware Private AI Foundation with NVIDIA
La funzionalità di VMware Private AI Foundation with NVIDIA si basa su un set fondamentale di componenti con componenti aggiuntivi necessari per abilitare la distribuzione di uno dei seguenti tipi di carico di lavoro di IA:
- Deep Learning VM in generale
- Carichi di lavoro IA in un cluster TKG con accelerazione GPU in generale
- Carichi di lavoro RAG come Deep Learning VM o applicazioni di Deep Learning in cluster TKG con accelerazione GPU
La distribuzione di un carico di lavoro RAG estende l'approccio generale per Deep Learning VM e i carichi di lavoro AI nei cluster TKG con la distribuzione di un database PostgreSQL pgvector e la configurazione dell'applicazione con il database pgvector.
In un ambiente disconnesso è necessario eseguire passaggi aggiuntivi per configurare e distribuire le appliance e fornire risorse in locale, in modo che i carichi di lavoro possano accedervi.
- Ambiente connesso
-
Attività Casi d'uso della distribuzione dei carichi di lavoro di AI Passaggi Rivedere l'architettura e i requisiti per la distribuzione di VMware Private AI Foundation with NVIDIA. Tutti Configurare un'istanza del servizio di licenza nel portale delle licenze NVIDIA e generare un token di configurazione client. Guida per l'utente del sistema di licenze NVIDIA. Generare una chiave API per l'accesso al catalogo NVIDIA NGC. Pull ed esecuzione dei container aziendali NVIDIA AI Distribuire un dominio del carico di lavoro VI con accelerazione GPU. Distribuzione di un dominio del carico di lavoro VI con accelerazione GPU per VMware Private AI Foundation with NVIDIA Abilitare vSphere IaaS control plane (in precedenza denominato vSphere with Tanzu). Tutti Necessaria se i data scientist e i tecnici DevOps distribuiranno i carichi di lavoro utilizzando elementi del catalogo self-service in VMware Aria Automation o tramite il comando kubectl.
Configurazione di vSphere IaaS Control Plane per VMware Private AI Foundation with NVIDIA Creare una libreria di contenuti per le immagini di Deep Learning VM. Distribuzione di Deep Learning VM Creazione di una libreria di contenuti con immagini di Deep Learning VM per VMware Private AI Foundation with NVIDIA Configurare le classi di macchine virtuali basate su vGPU per i carichi di lavoro di IA. Tutti Configurazione delle classi di macchine virtuali basate su vGPU per i carichi di lavoro di AI per VMware Private AI Foundation with NVIDIA Configurare uno spazio dei nomi vSphere per i carichi di lavoro AI. Tutti Configurazione di uno spazio dei nomi vSphere per i carichi di lavoro con accelerazione GPU Distribuire VMware Aria Automation
utilizzando VMware Aria Suite Lifecycle in VMware Cloud Foundation mode.Tutti Necessaria se i data scientist e i tecnici DevOps distribuiranno i carichi di lavoro utilizzando elementi catalogo self-service in VMware Aria Automation.
Distribuire VMware Aria Operations utilizzando VMware Aria Suite Lifecycle in VMware Cloud Foundation mode. Tutti Gestione di operazioni intelligenti per VMware Cloud Foundation. Distribuire VMware Data Services Manager Distribuzione di un carico di lavoro RAG - Installazione e configurazione di VMware Data Services Manager
Distribuire un'istanza di VMware Data Services Manager nel dominio di gestione.
- Installare Data Services Manager Consumption Operator come servizio supervisore. Vedere catalogo servizi supervisore vSphere .
- Configurare VMware Data Services Manager con almeno un criterio dell'infrastruttura. Vedere Creazione di criteri dell'infrastruttura.
Configurare una macchina che abbia accesso all'istanza del supervisore e che disponga di Docker, Helm e Kubernetes CLI Tools for vSphere. Tutti Necessaria se i carichi di lavoro di AI verranno distribuiti direttamente utilizzando il comando kubectl.
Installazione di Kubernetes CLI Tools for vSphere A partire da VMware Cloud Foundation 5.2.1, configurare un servizio del registro Harbor nel supervisore. Tutti Necessaria nel caso seguente:
- I carichi di lavoro AI verranno distribuiti in un supervisore in vSphere IaaS control plane
- Si prevede di utilizzare una galleria di modelli in Harbor per lo storage di modelli ML convalidati.
Configurazione di un registro Harbor privato in VMware Private AI Foundation with NVIDIA - Installazione e configurazione di VMware Data Services Manager
- Ambiente disconnesso
-
Attività Opzioni di distribuzione del carico di lavoro AI correlate Passaggi Rivedere i requisiti per la distribuzione di VMware Private AI Foundation with NVIDIA. Tutti Distribuire un'istanza di NVIDIA Delegated License Service. Installazione e configurazione dell'appliance virtuale DLS È possibile distribuire l'appliance virtuale nello stesso dominio dei carichi di lavoro AI o nel dominio di gestione.
- Registrare un'istanza di NVIDIA DLS nel portale delle licenze NVIDIA e associare e installare un server delle licenze in tale istanza.
- Generare un token di configurazione client.
Distribuire un dominio del carico di lavoro VI con accelerazione GPU. Distribuzione di un dominio del carico di lavoro VI con accelerazione GPU per VMware Private AI Foundation with NVIDIA Abilitare vSphere IaaS control plane (in precedenza denominato vSphere with Tanzu). Tutti Configurazione di vSphere IaaS Control Plane per VMware Private AI Foundation with NVIDIA Creare una libreria di contenuti per le immagini di Deep Learning VM. Distribuzione di Deep Learning VM Creazione di una libreria di contenuti con immagini di Deep Learning VM per VMware Private AI Foundation with NVIDIA Configurare uno spazio dei nomi vSphere per i carichi di lavoro AI. Tutti Configurazione di uno spazio dei nomi vSphere per i carichi di lavoro con accelerazione GPU - Configurare una macchina che abbia accesso a Internet in cui sono installati Docker e Helm installati.
- Configurare una macchina che abbia accesso a vCenter Server per il dominio del carico di lavoro VI, l'istanza del supervisore e il registro del container locale.
La macchina deve disporre di Docker, Helm e Kubernetes CLI Tools for vSphere.
Tutti Configurare un servizio del registro Harbor nel supervisore. Tutti Necessario se i carichi di lavoro di AI verranno distribuiti in un supervisore in vSphere IaaS control plane.
In un ambiente senza vSphere IaaS control plane, per eseguire il pull delle immagini dei container in Deep Learning VM in esecuzione direttamente in un cluster vSphere, è necessario configurare un registro di un altro fornitore.
Configurazione di un registro Harbor privato in VMware Private AI Foundation with NVIDIA Configurare una libreria di contenuti per le versioni di Tanzu Kubernetes (TKr) per Ubuntu - Distribuire un carico di lavoro RAG in un cluster TKG con accelerazione GPU
- Distribuire carichi di lavoro di AI in un cluster TKG con accelerazione GPU
Configurazione di una libreria di contenuti con TKr Ubuntu per un ambiente di VMware Private AI Foundation with NVIDIA disconnesso Caricare i componenti degli operatori NVIDIA nell'ambiente. - Distribuire un carico di lavoro RAG in un cluster TKG con accelerazione GPU
- Distribuire carichi di lavoro di AI in un cluster TKG con accelerazione GPU
Caricamento dei componenti di NVIDIA GPU Operator in un ambiente disconnesso Specificare una posizione da cui scaricare i driver guest della vGPU. Distribuzione di Deep Learning VM Caricare in un server Web locale le versioni del driver guest della vGPU richieste scaricate dal portale delle licenze NVIDIA e un indice in uno dei formati seguenti: - File di indice .txt con un elenco dei file .run o .zip dei driver guest della vGPU.
host-driver-version-1 guest-driver-download-URL-1 host-driver-version-2 guest-driver-download-URL-2 host-driver-version-3 guest-driver-download-URL-3
- Indice di directory nel formato generato dai server Web, ad esempio NGINX e i server Apache HTTP. I file dei driver della vGPU specifici della versione devono essere forniti come file .zip.
Caricare le immagini dei container NVIDIA NGC in un registro di container privato, ad esempio il servizio registro Harbor del supervisore. Tutti In un ambiente senza vSphere IaaS control plane, per eseguire il pull delle immagini dei container in Deep Learning VM in esecuzione direttamente in un cluster vSphere, è necessario configurare un registro di un altro fornitore.
Caricamento delle immagini del container AI in un registro Harbor privato in VMware Private AI Foundation with NVIDIA Distribuire VMware Aria Automation utilizzando VMware Aria Suite Lifecycle in VMware Cloud Foundation mode. Tutti Necessaria se i data scientist e i tecnici DevOps distribuiranno i carichi di lavoro utilizzando elementi catalogo self-service in VMware Aria Automation.
Distribuire VMware Aria Operations utilizzando VMware Aria Suite Lifecycle in VMware Cloud Foundation mode. Tutti Gestione di operazioni intelligenti per VMware Cloud Foundation Distribuire VMware Data Services Manager Distribuzione di un carico di lavoro RAG - Installazione e configurazione di VMware Data Services Manager
È inoltre possibile utilizzare l'interfaccia utente della distribuzione guidata in vSphere Client per distribuire un'istanza di VMware Data Services Manager nel dominio di gestione.
- Installare Data Services Manager Consumption Operator come servizio supervisore. Vedere catalogo servizi supervisore vSphere .
- Configurare VMware Data Services Manager con almeno un criterio dell'infrastruttura. Vedere Creazione di criteri dell'infrastruttura.
