Configurazione delle classi di macchine virtuali basate su vGPU per i carichi di lavoro di AI per VMware Private AI Foundation with NVIDIA

In queste classi di macchine virtuali, in qualità di amministratore del cloud impostare i requisiti di elaborazione e un profilo vGPU per un dispositivo NVIDIA GRID vGPU in base ai dispositivi vGPU configurati negli host ESXi nel cluster supervisore.

Nota: Questa documentazione si basa su VMware Cloud Foundation 5.2.1. Per informazioni sulla funzionalità VMware Private AI Foundation with NVIDIA in VMware Cloud Foundation 5.2, vedere Guida di VMware Private AI Foundation with NVIDIA per VMware Cloud Foundation 5.2.

Prerequisiti

• Verificare che VMware Private AI Foundation with NVIDIA sia configurato fino a questo passaggio del workflow di distribuzione. Vedere Preparazione di VMware Cloud Foundation per la distribuzione del carico di lavoro di Private AI.

Procedura

1. Per un'istanza di VMware Cloud Foundation 5.2.1, accedere all'istanza di vCenter Server per il dominio di gestione all'indirizzo https://<vcenter_server_fqdn>/ui.
2. Nel pannello laterale di vSphere Client, fare clic su Private AI Foundation.
3. Nel workflow Private AI Foundation, fare clic sulla sezione Configura dominio carico di lavoro.
4. Creare le classi di macchine virtuali con NVIDIA vGPU.

   La procedura guidata nel workflow di distribuzione guidata ha le stesse opzioni della procedura guidata analoga nell'area Gestione carico di lavoto di vSphere Client.

   • Per informazioni sulla configurazione di classi di macchine virtuali basate su vGPU per le macchine virtuali, vedere Creazione di una classe di macchine virtuali personalizzata tramite vSphere Client e Aggiunta di dispositivi PCI a una classe di macchine virtuali in vSphere with Tanzu.
   • Per informazioni sulla configurazione di classi di macchine virtuali basate su vGPU per i nodi worker TKG, vedere Creazione di una classe di macchine virtuali personalizzata con un profilo vGPU in vSphere 8 Update 2b e versioni successive e Configurazione di spazi dei nomi vSphere per i cluster TKG nel supervisore.

   Impostare le seguenti impostazioni aggiuntive nella finestra di dialogo Classe di macchine virtuali in base al contenuto della macchina virtuale di deep learning.

   Caso d'uso	Impostazioni aggiuntive per Classe di macchine virtuali
   Macchine virtuali di deep learning con carichi di lavoro NVIDIA RAG	Selezionare il profilo vGPU completo per la modalità di slicing temporale o un profilo MIG. Ad esempio, per la scheda NVIDIA A100 a 40 GB in modalità di slicing temporale vGPU, selezionare nvidia_a100-40c. Nella scheda Hardware virtuale allocare più di 16 core CPU virtuali e 64 GB di memoria virtuale. Nella scheda Parametri avanzati impostare il parametro pciPassthru<vgpu-id>.cfg.enable_uvm su 1. dove <vgpu-id> identifica la vGPU assegnata alla macchina virtuale. Ad esempio, se alla macchina virtuale sono assegnate due vGPU, impostare pciPassthru0.cfg.parameter=1 e pciPassthru1.cfg.parameter = 1. Importante: Questa configurazione disattiva la migrazione di vSphere vMotion per la macchina virtuale con deep learning.
   Macchine virtuali di deep learning che utilizzano Triton Inference Server con il back-end TensorRT	Nella scheda Parametri avanzati impostare il parametro pciPassthru<vgpu-id>.cfg.enable_uvm su 1. dove <vgpu-id> identifica la vGPU assegnata alla macchina virtuale. Ad esempio, se alla macchina virtuale sono assegnate due vGPU, impostare pciPassthru0.cfg.parameter=1 e pciPassthru1.cfg.parameter = 1. Importante: Questa configurazione disattiva la migrazione di vSphere vMotion per la macchina virtuale con deep learning.