Le immagini delle macchine virtuali di deep learning fornite con VMware Private AI Foundation with NVIDIA sono preconfigurate con le librerie, i framework e i toolkit ML più comuni e sono ottimizzate e convalidate da NVIDIA e VMware per l'accelerazione della GPU in un ambiente VMware Cloud Foundation.
In qualità di data scientist, è possibile utilizzare le istanze di Deep Learning VM fornite da queste immagini per la prototipazione, l'ottimizzazione, la convalida e l'inferenza di AI.
Lo stack software per l'esecuzione di applicazioni AI oltre alle GPU NVIDIA viene convalidato in anticipo. Di conseguenza, è possibile avviare direttamente lo sviluppo di AI senza perdere tempo per l'installazione e la convalida della compatibilità di sistemi operativi, librerie software, framework ML, toolkit e driver GPU.
Che cosa contiene un'immagine della macchina virtuale di deep learning?
L'immagine di Deep Learning VM più recente contiene il software seguente. Per informazioni sulle versioni dei componenti in ogni versione dell'immagine della macchina virtuale di deep learning, vedere Note di rilascio di VMware Deep Learning VM.
| Categoria del componente software | Componente software | |
|---|---|---|
| Incorporato |
|
|
| Può essere preinstallata automaticamente quando si avvia Deep Learning VM per la prima volta |
|
|
| Carichi di lavoro di Deep Learning (DL) | Esempio di CUDA È possibile utilizzare una macchina virtuale di deep learning con esempi CUDA in esecuzione per esplorare l'aggiunta di un vettore, la simulazione gravitazionale di n-corpi o altri esempi in una macchina virtuale. Vedere la pagina Esempi di CUDA nel catalogo NVIDIA NGC. |
|
| PyTorch. È possibile utilizzare una macchina virtuale di deep learning con una libreria PyTorch per esplorare AI conversazionale, l'elaborazione del linguaggio naturale (NLP) e altri tipi di modelli AI in una macchina virtuale. Vedere la pagina PyTorch nel catalogo NVIDIA NGC. È possibile utilizzare un'istanza di JupyterLab pronta con PyTorch installato e configurato all'indirizzo http://dl_vm_ip:8888. |
||
| TensorFlow. È possibile utilizzare una macchina virtuale di deep learning con una libreria TensorFlow per esplorare AI conversazionale, l'elaborazione del linguaggio naturale (NLP) e altri tipi di modelli AI in una macchina virtuale. Vedere la pagina TensorFlow nel catalogo NVIDIA NGC. È possibile utilizzare un'istanza di JupyterLab pronta con TensorFlow installato e configurato all'indirizzo http://dl_vm_ip:8888. |
||
| DCGM Exporter È possibile utilizzare un'istanza di Deep Learning VM con Data Center GPU Manager (DCGM) Exporter per monitorare l'integrità e ottenere le metriche delle GPU utilizzate da un carico di lavoro DL, tramite NVIDIA DCGM, Prometheus e Grafana. Vedere la pagina DCGM Exporter nel catalogo NVIDIA NGC. In una macchina virtuale di deep learning eseguire il container DCGM Exporter insieme a un carico di lavoro DL che esegue le operazioni di AI. Dopo l'avvio di Deep Learning VM, DCGM Exporter è pronto a raccogliere le metriche di vGPU ed esportare i dati in un'altra applicazione per ulteriore monitoraggio e visualizzazione. Per informazioni su come utilizzare DGCM Exporter per visualizzare le metriche con Prometheus e Grafana, vedere Installazione e configurazione iniziale di DCGM Exporter.
|
||
| Triton Inference Server È possibile utilizzare un'istanza di Deep Learning VM con Triton Inference Server per caricare un repository di modelli e ricevere richieste di inferenza. Vedere la pagina Triton Inference Server nel catalogo NVIDIA NGC. Per informazioni su come utilizzare Triton Inference Server per le richieste di inferenza per i modelli di AI, vedere Installazione e configurazione iniziale di Triton Inference Server. |
||
| NVIDIA RAG È possibile utilizzare un'istanza di Deep Learning VM per creare soluzioni RAG (Retrieval Augmented Generation) con un modello Llama2. Vedere la documentazione NVIDIA RAG Applications Docker Compose (richiede autorizzazioni specifiche dell'account). Un'applicazione Web chatbot di esempio a cui è possibile accedere all'indirizzo http://dl_vm_ip:3001/orgs/nvidia/models/text-qa-chatbot. È possibile caricare la propria knowledge base. |
||
Distribuzione di Deep Learning VM
In qualità di data scientist, è possibile distribuire autonomamente Deep Learning VM utilizzando gli elementi del catalogo in VMware Aria Automation. Oppure, è possibile chiedere a un amministratore del cloud o un tecnico DevOps di distribuire tale istanza di VM.
