Die im Rahmen von VMware Private AI Foundation with NVIDIA bereitgestellten Deep Learning-VM-Images sind mit gängigen ML-Bibliotheken, Frameworks und Toolkits vorkonfiguriert und werden von NVIDIA und VMware für die GPU-Beschleunigung in einer VMware Cloud Foundation-Umgebung optimiert und validiert.
Als Datenwissenschaftler können Sie die über diese Images bereitgestellten Deep Learning-VMs für KI-Prototyperstellung, Feinabstimmung, Validierung und Rückschlüsse verwenden.
Der Software-Stack für die Ausführung von KI-Anwendungen auf NVIDIA GPUs wird im Voraus validiert. Folglich beginnen Sie direkt mit der KI-Entwicklung, ohne Zeit für die Installation und Validierung der Kompatibilität von Betriebssystemen, Softwarebibliotheken, ML-Frameworks, Toolkits und GPU-Treibern aufwenden zu müssen.
Was enthält ein Deep Learning-VM-Image?
Das aktuelle Image der Deep Learning-VM enthält die folgende Software. Informationen zu den Komponentenversionen in jeder Deep Learning-VM-Image-Version finden Sie unter Versionshinweise zu VMware Deep Learning VM.
| Softwarekomponentenkategorie | Softwarekomponente | |
|---|---|---|
| Eingebettet |
|
|
| Kann automatisch vorinstalliert werden, wenn Sie die Deep Learning-VM erstmalig starten |
|
|
| DL-Arbeitslasten (Deep Learning) | CUDA-Beispiel Sie können eine Deep Learning-VM mit ausgeführten CUDA-Beispielen verwenden, um die Vektorhinzufügung, die Gravitations-N-Körper-Simulation oder andere Beispiele auf einer VM zu untersuchen. Weitere Informationen finden Sie auf der Seite CUDA-Beispiele im NVIDIA NGC-Katalog. |
|
| PyTorch. Sie können eine Deep Learning-VM mit einer PyTorch-Bibliothek verwenden, um Konversations-KI, NLP und andere Arten von KI-Modellen auf einer VM zu erkunden. Weitere Informationen finden Sie auf der Seite PyTorch im NVIDIA NGC-Katalog. Sie können eine einsatzbereite JupyterLab-Instanz mit installiertem und konfiguriertem PyTorch unter http://dl_vm_ip:8888 verwenden. |
||
| TensorFlow. Sie können eine Deep Learning-VM mit einer TensorFlow-Bibliothek verwenden, um Konversations-KI, NLP und andere Arten von KI-Modellen auf einer VM zu erkunden. Weitere Informationen finden Sie auf der Seite TensorFlow im NVIDIA NGC-Katalog. Sie können eine betriebsbereite JupyterLab-Instanz mit installiertem und konfiguriertem TensorFlow unter http://dl_vm_ip:8888 verwenden. |
||
| DCGM Exporter Sie können einer Deep Learning-VM mit einem DCGM Exporter (Data Center GPU Manager) verwenden, um den Zustand von GPUs zu überwachen und Metriken aus GPUs abzurufen, die von einer DL-Arbeitslast verwendet werden, indem Sie NVIDIA DCGM, Prometheus und Grafana verwenden. Weitere Informationen finden Sie auf der Seite DCGM Exporter im NVIDIA NGC-Katalog. In einer Deep Learning-VM führen Sie den DCGM Exporter-Container zusammen mit einer DL-Arbeitslast aus, die KI-Vorgänge durchführt. Nachdem die Deep Learning-VM gestartet wurde, ist DCGM Exporter bereit, vGPU-Metriken zu erfassen und die Daten zur weiteren Überwachung und Visualisierung in eine andere Anwendung zu exportieren. Informationen zur Verwendung von DGCM Exporter zum Visualisieren von Metriken mit Prometheus und Grafana finden Sie unter Installation und Ersteinrichtung von DCGM Exporter.
|
||
| Triton Inference Server Sie können eine Deep Learning-VM mit einem Triton Inference Server verwenden, um ein Modell-Repository zu laden und Rückschlussanforderungen zu erhalten. Weitere Informationen finden Sie auf der Seite Triton Inference Server im NVIDIA NGC-Katalog. Informationen zur Verwendung des Triton Inference Servers zum Anfordern von Inferenzen für KI-Modelle finden Sie unter Installation und Ersteinrichtung des Triton Inference Servers. |
||
| NVIDIA RAG Sie können eine Deep Learning-VM verwenden, um RAG-Lösungen (Retrieval Augmented Generation) mit einem LLM-Modell zu erstellen. Weitere Informationen finden Sie in der Dokumentation zu NVIDIA RAG-Anwendungen mit Docker Compose (erfordert bestimmte Kontoberechtigungen). Ein Beispiel für eine Chatbot-Webanwendung, auf die Sie unter http://dl_vm_ip:3001/orgs/nvidia/models/text-qa-chatbot zugreifen können. Sie können Ihre eigene Knowledgebase hochladen. |
||
Bereitstellen einer Deep Learning-VM
Als Datenwissenschaftler oder MLOps-Ingenieur können Sie selbst eine Deep Learning-VM bereitstellen, indem Sie Katalogelemente in VMware Aria Automation verwenden. Ansonsten stellt ein Cloud-Administrator oder DevOps-Ingenieur eine solche VM für Sie bereit.
