Per dare rapidamente ai data scientist l'opportunità di testare i modelli di Deep Learning VM in VMware Private AI Foundation with NVIDIA, in qualità di amministratore del cloud è possibile distribuire Deep Learning VM direttamente in un cluster vSphere utilizzando vSphere Client.

Per informazioni sulle immagini di Deep Learning VM in VMware Private AI Foundation with NVIDIA, vedere Informazioni sulle immagini di Deep Learning VM in VMware Private AI Foundation with NVIDIA.

La distribuzione di una macchina virtuale di deep learning con NVIDIA RAG richiede un database vettore. È possibile utilizzare un database PostgreSQL con pgvector in VMware Data Services Manager. Per informazioni sulla distribuzione di tale database e sulla sua integrazione in Deep Learning VM, vedere Distribuzione di Deep Learning VM con un carico di lavoro RAG.

Prerequisiti

Verificare che VMware Private AI Foundation with NVIDIA sia distribuito e configurato. Vedere Preparazione di VMware Cloud Foundation per la distribuzione del carico di lavoro di Private AI.

Procedura

  1. Accedere all'istanza di vCenter Server per il dominio del carico di lavoro VI.
  2. Dal menu Home di vSphere Client selezionare Librerie di contenuti.
  3. Passare all'immagine della macchina virtuale di deep learning nella libreria di contenuti.
  4. Fare clic con il pulsante destro del mouse su un modello OVF e scegliere Nuova macchina virtuale da questo modello.
  5. Nella pagina Seleziona nome e cartella della procedura guidata visualizzata, immettere un nome e selezionare una cartella della macchina virtuale, scegliere Personalizza hardware di questa macchina virtuale e fare clic su Avanti.
  6. Selezionare un cluster abilitato per GPU nel dominio del carico di lavoro VI, scegliere se la macchina virtuale deve essere accesa al termine della distribuzione e fare clic su Avanti.
  7. Seguire le indicazioni della procedura guidata per selezionare un datastore e una rete nel Distributed Switch per il cluster.
  8. Nella pagina Personalizza modello immettere le proprietà della macchina virtuale personalizzata necessarie per configurare la funzionalità AI e fare clic su Avanti.
    Vedere Proprietà OVF di Deep Learning VM.
  9. Nella pagina Personalizza hardware assegnare un dispositivo NVIDIA vGPU alla macchina virtuale come Nuovo dispositivo PCI e fare clic su Avanti.

    Per una macchina virtuale di deep learning che esegue NVIDIA RAG, selezionare il profilo vGPU completo per la modalità di slicing temporale o un profilo MIG. Ad esempio, per NVIDIA A100 a 40 GB in modalità di slicing temporale vGPU, selezionare nvidia_a100-40c.

  10. Per una macchina virtuale di deep learning che esegue NVIDIA RAG o che utilizza Triton Inference Server con back-end TensorRT, nella scheda Parametri avanzati delle impostazioni della macchina virtuale, impostare il parametro pciPassthru<vgpu-id>.cfg.enable_uvm su 1.

    dove <vgpu-id> identifica la vGPU assegnata alla macchina virtuale. Ad esempio, se alla macchina virtuale sono assegnate due vGPU, impostare pciPassthru0.cfg.parameter=1 e pciPassthru1.cfg.parameter = 1.

    Importante: Questa configurazione disattiva la migrazione di vSphere vMotion per la macchina virtuale con deep learning.
  11. Rivedere la specifica della distribuzione e fare clic su Fine.

risultati

Il driver guest della vGPU e il carico di lavoro di deep learning specificato vengono installati la prima volta che si avvia la macchina virtuale di deep learning.

È possibile esaminare i registri o aprire l'istanza di JupyterLab fornita con alcune delle immagini. È possibile condividere i dettagli di accesso con i data scientist dell'organizzazione. Vedere Carichi di lavoro di deep learning in VMware Private AI Foundation with NVIDIA.

Operazioni successive

  • Connettersi alla macchina virtuale di deep learning tramite SSH e verificare che tutti i componenti siano installati e in esecuzione come previsto.
  • Inviare i dettagli di accesso ai data scientist.