Informazioni sulle immagini di Deep Learning VM in VMware Private AI Foundation with NVIDIA

Le immagini di Deep Learning VM fornite con VMware Private AI Foundation with NVIDIA sono preconfigurate con le librerie, i framework e i toolkit ML più comuni e sono ottimizzate e convalidate da NVIDIA e VMware per l'accelerazione della GPU in un ambiente VMware Cloud Foundation.

In qualità di data scientist, è possibile utilizzare le istanze di Deep Learning VM fornite da queste immagini per la prototipazione, l'ottimizzazione, la convalida e l'inferenza di AI.

Lo stack software per l'esecuzione di applicazioni AI oltre alle GPU NVIDIA viene convalidato in anticipo. Di conseguenza, è possibile avviare direttamente lo sviluppo di AI senza perdere tempo per l'installazione e la convalida della compatibilità di sistemi operativi, librerie software, framework ML, toolkit e driver GPU.

Che cosa contiene un'immagine di Deep Learning VM?

L'immagine di Deep Learning VM più recente contiene il software seguente. Per informazioni sulle versioni dei componenti in ogni versione dell'immagine di Deep Learning VM, vedere Note di rilascio di VMware Deep Learning VM.

Categoria del componente software	Componente software
Incorporato	Canonical Ubuntu NVIDIA Container Toolkit Docker Community Engine Manifesti di Miniforge, PyTorch e TensorFlow Conda. CLI di VMware Private AI Services (pais) È possibile utilizzare la CLI di pais per archiviare i modelli ML convalidati nelle raccolte di modelli. Vedere Archiviazione di modelli ML in VMware Private AI Foundation with NVIDIA.
Può essere preinstallata automaticamente quando si avvia Deep Learning VM per la prima volta	Driver guest della vGPU in base alla versione del driver host della vGPU
	Carichi di lavoro di Deep Learning (DL)	Esempio di CUDA È possibile utilizzare un'istanza di Deep Learning VM con esempi CUDA in esecuzione per esplorare l'aggiunta di un vettore, la simulazione gravitazionale di n-corpi o altri esempi in una macchina virtuale. Vedere la pagina Esempi di CUDA nel catalogo NVIDIA NGC.
		PyTorch. È possibile utilizzare un'istanza di Deep Learning VM con una libreria PyTorch per esplorare AI conversazionale, l'elaborazione del linguaggio naturale (NLP) e altri tipi di modelli AI in una macchina virtuale. Vedere la pagina PyTorch nel catalogo NVIDIA NGC. È possibile utilizzare un'istanza di JupyterLab pronta con PyTorch installato e configurato all'indirizzo http://dl_vm_ip:8888.
		TensorFlow. È possibile utilizzare un'istanza di Deep Learning VM con una libreria TensorFlow per esplorare AI conversazionale, l'elaborazione del linguaggio naturale (NLP) e altri tipi di modelli AI in una macchina virtuale. Vedere la pagina TensorFlow nel catalogo NVIDIA NGC. È possibile utilizzare un'istanza di JupyterLab pronta con TensorFlow installato e configurato all'indirizzo http://dl_vm_ip:8888.
		DCGM Exporter È possibile utilizzare un'istanza di Deep Learning VM con Data Center GPU Manager (DCGM) Exporter per monitorare l'integrità e ottenere le metriche delle GPU utilizzate da un carico di lavoro DL, tramite NVIDIA DCGM, Prometheus e Grafana. Vedere la pagina DCGM Exporter nel catalogo NVIDIA NGC. In un'istanza di Deep Learning VM eseguire il container DCGM Exporter insieme a un carico di lavoro DL che esegue le operazioni di AI. Dopo l'avvio di Deep Learning VM, DCGM Exporter è pronto a raccogliere le metriche di vGPU ed esportare i dati in un'altra applicazione per ulteriore monitoraggio e visualizzazione. Per informazioni su come utilizzare DGCM Exporter per visualizzare le metriche con Prometheus e Grafana, vedere Installazione e configurazione iniziale di DCGM Exporter.
		Triton Inference Server È possibile utilizzare un'istanza di Deep Learning VM con Triton Inference Server per caricare un repository di modelli e ricevere richieste di inferenza. Vedere la pagina Triton Inference Server nel catalogo NVIDIA NGC. Per informazioni su come utilizzare Triton Inference Server per le richieste di inferenza per i modelli di AI, vedere Installazione e configurazione iniziale di Triton Inference Server.
		NVIDIA RAG È possibile utilizzare un'istanza di Deep Learning VM per creare soluzioni RAG (Retrieval Augmented Generation) con un modello LLM. Vedere la documentazione NVIDIA RAG Applications Docker Compose (richiede autorizzazioni specifiche dell'account). Un'applicazione Web chatbot di esempio a cui è possibile accedere all'indirizzo http://dl_vm_ip:3001/orgs/nvidia/models/text-qa-chatbot. È possibile caricare la propria knowledge base.

Distribuzione di Deep Learning VM

In qualità di data scientist o tecnico MLOps, è possibile distribuire autonomamente Deep Learning VM utilizzando gli elementi del catalogo in VMware Aria Automation. Oppure, è possibile chiedere a un amministratore del cloud o un tecnico DevOps di distribuire tale istanza di VM.