Distribuzione di Deep Learning VM utilizzando elementi del catalogo self-service in VMware Aria Automation

In qualità di data scientist o tecnico DevOps, è possibile distribuire Deep Learning VM da Automation Service Broker utilizzando l'elemento del catalogo self-service Workstation AI.

Quando si richiede un'istanza di Deep Learning VM nel catalogo di Automation Service Broker, si esegue il provisioning di un'istanza di Deep Learning VM abilitata per GPU che può essere configurata con vCPU, vGPU, memoria e container NGC AI/ML desiderati da NVIDIA. Il driver guest della vGPU e il carico di lavoro di Deep Learning specificato vengono installati quando si avvia Deep Learning VM per la prima volta.

Per un'istanza di Deep Learning VM con un carico di lavoro NVIDIA RAG, utilizzare l'elemento del catalogo Workstation RAG AI. Vedere Distribuzione di Deep Learning VM con un carico di lavoro RAG mediante un elemento del catalogo self-service in VMware Aria Automation.

Prerequisiti

• Verificare che l'amministratore del cloud abbia configurato Private AI Automation Services per il progetto.
• Verificare di disporre delle autorizzazioni necessarie per richiedere elementi del catalogo AI.

Distribuzione di Deep Learning VM mediante un elemento del catalogo self-service in VMware Aria Automation

In qualità di data scientist, è possibile distribuire un singolo ambiente di sviluppo definito da software GPU dal catalogo self-service di Automation Service Broker.

È possibile personalizzare la macchina virtuale abilitata per GPU con i parametri della macchina per modellare i requisiti di sviluppo, pre-installare framework AI/ML per soddisfare i requisiti di formazione e inferenza e specificare i pacchetti AI/ML dal registro di NVIDIA NGC tramite una chiave di accesso al portale.

Procedura

1. Nella pagina Catalogo di Automation Service Broker, individuare la scheda Workstation AI e fare clic su Richiedi.
2. Selezionare un progetto.
3. Immettere un nome e una descrizione per la distribuzione.
4. Configurare i parametri della workstation AI.

   Impostazione	Valore di esempio
   Classe di macchine virtuali	A100 Small - 1 vGPU (16 GB), 8 CPU e 16 GB di memoria
   Dimensioni disco dati	32 GB
   Password utente	Immettere una password per l'utente predefinito. È possibile che venga richiesto di reimpostare la password al primo accesso.
   Chiave pubblica SSH	Questa impostazione è opzionale.

5. Selezionare un bundle software da installare nella workstation.
   I carichi di lavoro di Deep Learning supportati includono esempi di PyTorch, TensorFlow e CUDA. Per ulteriori informazioni, vedere Carichi di lavoro di deep learning in VMware Private AI Foundation with NVIDIA.
6. (Facoltativo) Immettere un cloud-init personalizzato che si desidera installare oltre al cloud-init definito per il bundle software.
   VMware Aria Automation unisce il cloud-init del bundle software e il cloud-init personalizzato.
7. Specificare la chiave API di NVIDIA NGC.
8. (Facoltativo) Esporre le metriche di NVIDIA Data Center GPU Manager (DCGM) tramite un bilanciamento del carico.
   NVIDIA DCGM gestisce e monitora le GPU negli ambienti di data center.
9. (Facoltativo) Se si installa il bundle software di PyTorch o TensorFlow NGC, attivare l'autenticazione JupyterLab.
10. Fare clic su Invia.

risultati

La scheda Panoramica della distribuzione contiene un riepilogo del software installato, insieme alle istruzioni per accedere all'applicazione, ai servizi e a Deep Learning VM.

Distribuzione di Deep Learning VM con NVIDIA Triton Inference Server mediante un elemento del catalogo self-service in VMware Aria Automation

In qualità di data scientist, è possibile distribuire un'istanza di Deep Learning abilitata per GPU con NVIDIA Triton Inference Server dal catalogo self-service di Automation Service Broker.

La workstation distribuita include Ubuntu 22.04, un driver NVIDIA vGPU, Docker Engine, NVIDIA Container Toolkit e NVIDIA Triton Inference Server.

Procedura

1. Nella pagina Catalogo in Automation Service Broker, individuare la scheda Triton Inferencing Server e fare clic su Richiedi.
2. Selezionare un progetto.
3. Immettere un nome e una descrizione per la distribuzione.
4. Configurare i parametri della workstation AI.

   Impostazione	Valore di esempio
   Classe di macchine virtuali	A100 Small - 1 vGPU (16 GB), 8 CPU e 16 GB di memoria Le classi di macchine virtuali con supporto Unified Virtual Memory (UVM) sono necessarie per l'esecuzione di Triton Inferencing Server.
   Dimensioni disco dati	32 GB
   Password utente	Immettere una password per l'utente predefinito. È possibile che venga richiesto di reimpostare la password al primo accesso.
   Chiave pubblica SSH	Questa impostazione è opzionale.

5. (Facoltativo) Immettere un cloud-init personalizzato che si desidera installare oltre al cloud-init definito per il bundle software.
   VMware Aria Automation unisce il cloud-init del bundle software e il cloud-init personalizzato.
6. (Facoltativo) Esporre le metriche di NVIDIA Data Center GPU Manager (DCGM) tramite un bilanciamento del carico.
   NVIDIA DCGM gestisce e monitora le GPU negli ambienti di data center.
7. Fare clic su Invia.