Les images de machine virtuelle à apprentissage profond fournies dans le cadre de VMware Private AI Foundation with NVIDIA sont préconfigurées avec les bibliothèques ML, infrastructures et kit d'outils populaires, et sont optimisées et validées par NVIDIA et VMware pour l'accélération par GPU dans un environnement VMware Cloud Foundation.
En tant que scientifique des données, vous pouvez utiliser les VM à apprentissage profond provisionnées à partir de ces images pour le prototypage, le réglage fin, la validation et l'inférence de l'IA.
La pile logicielle pour l'exécution d'applications d'IA au-dessus des GPU NVIDIA est validée à l'avance. Par conséquent, démarrez directement le développement de l'IA, sans passer de temps à installer et à valider la compatibilité des systèmes d'exploitation, des bibliothèques logicielles, des infrastructures ML, des kits d'outils et des pilotes GPU.
Que contient une image de VM à apprentissage profond ?
La dernière image de machine virtuelle à apprentissage profond contient le logiciel suivant. Pour plus d'informations sur les versions des composants dans chaque version d'image de VM à apprentissage profond, reportez-vous à la section Notes de mise à jour de VMware Deep Learning VM.
| Catégorie de composant logiciel | Composant logiciel | |
|---|---|---|
| Intégrée |
|
|
| Vous pouvez les préinstaller automatiquement lorsque vous démarrez la VM à apprentissage profond pour la première fois |
|
|
| Charges de travail à apprentissage profond (DL,Deep learning) | Exemple CUDA Vous pouvez utiliser une VM à apprentissage profond avec des exemples CUDA en cours d'exécution pour explorer l'ajout de vecteurs, la simulation gravitationnelle à N corps ou d'autres exemples sur une VM. Reportez-vous à la page Exemples de CUDA du catalogue NVIDIA NGC. |
|
| PyTorch. Vous pouvez utiliser une VM à apprentissage profond avec une bibliothèque PyTorch pour découvrir l'IA conversationnelle, le traitement automatique des langues (NLP, Natural language processing) et d'autres types de modèles d'IA sur une VM. Reportez-vous à la page PyTorch du catalogue NVIDIA NGC. Vous pouvez utiliser une instance de JupyterLab prête avec PyTorch installé et configuré à l'adresse http://dl_vm_ip:8888. |
||
| TensorFlow. Vous pouvez utiliser une VM à apprentissage profond avec une bibliothèque TensorFlow pour découvrir l'IA conversationnelle, le NLP et d'autres types de modèles d'IA sur une VM. Reportez-vous à la page TensorFlow du catalogue NVIDIA NGC. Vous pouvez utiliser une instance de JupyterLab prête avec TensorFlow installé et configuré à l'adresse http://dl_vm_ip:8888. |
||
| Exportateur DCGM Vous pouvez utiliser une VM à apprentissage profond avec l'exportateur Data Center GPU Manager (DCGM) pour surveiller la santé des GPU et obtenir des mesures de ceux-ci qui sont utilisés par une charge de travail DL, à l'aide de NVIDIA DCGM, Prometheus et Grafana. Reportez-vous à la page Exportateur DCGM du catalogue NVIDIA NGC. Dans une VM à apprentissage profond, exécutez le conteneur de l'exportateur DCGM avec une charge de travail DL qui effectue des opérations d'IA. Une fois la VM à apprentissage profond démarrée, l'exportateur DCGM est prêt à collecter des mesures de vGPU et à exporter les données vers une autre application pour une surveillance et une visualisation accrues. Pour plus d'informations sur l'utilisation de l'exportateur DGCM pour visualiser les mesures avec Prometheus et Grafana, reportez-vous à la section Installation et configuration initiale de l'exportateur DCGM.
|
||
| Serveur d'inférence Triton Vous pouvez utiliser une VM à apprentissage profond avec un serveur d'inférence Triton pour charger un référentiel de modèles et recevoir des demandes d'inférence. Reportez-vous à la page Serveur d'inférence Triton du catalogue NVIDIA NGC. Pour plus d'informations sur l'utilisation du serveur d'inférence Triton pour les demandes d'inférence pour les modèles d'IA, reportez-vous à la section Installation et configuration initiale du serveur d'inférence Triton. |
||
| NVIDIA RAG Vous pouvez utiliser une VM à apprentissage profond pour créer des solutions de génération augmentée de récupération (RAG) avec un modèle LLM. Reportez-vous à la documentation Outil Docker Compose des applications NVIDIA RAG (nécessite des autorisations de compte spécifiques). Exemple d'application Web d'agent conversationnel accessible à l'adresse http://dl_vm_ip:3001/orgs/nvidia/models/text-qa-chatbot. Vous pouvez charger votre propre base de connaissances. |
||
Déploiement d'une VM à apprentissage profond
En tant que scientifique des données ou ingénieur MLOps, vous pouvez déployer vous-même une VM à apprentissage profond en utilisant des éléments de catalogue dans VMware Aria Automation. Sinon, un administrateur de cloud ou un ingénieur DevOps déploie cette VM pour vous.
