En tant qu'administrateur de cloud, pour permettre rapidement aux scientifiques des données de tester les modèles de VM à apprentissage profond dans VMware Private AI Foundation with NVIDIA, vous pouvez déployer une VM à apprentissage profond directement sur un cluster vSphere à l'aide de vSphere Client.

Pour plus d'informations sur les images de VM à apprentissage profond dans VMware Private AI Foundation with NVIDIA, reportez-vous à la section À propos des images de VM à apprentissage profond dans VMware Private AI Foundation with NVIDIA.

Le déploiement d'une machine virtuelle à apprentissage profond avec NVIDIA RAG nécessite une base de données vectorielle. Vous pouvez utiliser une base de données PostgreSQL avec pgvector dans VMware Data Services Manager. Pour plus d'informations sur le déploiement d'une base de données de ce type et son intégration dans une VM à apprentissage profond, reportez-vous à la section Déployer une VM à apprentissage profond avec une charge de travail RAG.

Conditions préalables

Vérifiez que VMware Private AI Foundation with NVIDIA est déployé et configuré. Reportez-vous à la section Préparation de VMware Cloud Foundation pour le déploiement de charges de travail Private AI.

Procédure

  1. Connectez-vous à l'instance de vCenter Server pour le domaine de charge de travail VI.
  2. Dans le menu d'accueil de vSphere Client, sélectionnez Bibliothèques de contenu.
  3. Accédez à l'image de VM à apprentissage profond dans la bibliothèque de contenu.
  4. Cliquez avec le bouton droit sur un modèle OVF et sélectionnez Nouvelle VM à partir de ce modèle.
  5. Sur la page Sélectionner un nom et un dossier de l'assistant qui s'affiche, entrez un nom et sélectionnez un dossier de VM, sélectionnez Personnaliser le matériel de cette machine virtuelle, puis cliquez sur Suivant.
  6. Sélectionnez un cluster prenant en charge les GPU dans le domaine de charge de travail VI, indiquez si la machine virtuelle doit être mise sous tension une fois le déploiement terminé, puis cliquez sur Suivant.
  7. Suivez l'assistant pour sélectionner une banque de données et un réseau sur le commutateur Distributed Switch pour le cluster.
  8. Sur la page Personnaliser le modèle, entrez les propriétés de VM personnalisées requises pour configurer la fonctionnalité d'IA, puis cliquez sur Suivant.
    Reportez-vous à la section Propriétés OVF des VM à apprentissage profond.
  9. Sur la page Personnaliser le matériel, attribuez un périphérique NVIDIA vGPU à la machine virtuelle en tant que Nouveau périphérique PCI, puis cliquez sur Suivant.

    Pour une VM à apprentissage profond qui exécute un dispositif NVIDIA RAG, sélectionnez le profil vGPU complet pour le mode de découpage temporel ou un profil MIG. Par exemple, pour le dispositif NVIDIA A100 40 Go en mode de découpage temporel vGPU, sélectionnez nvidia_a100-40c.

  10. Pour une VM à apprentissage profond qui exécute un dispositif NVIDIA RAG ou qui utilise le serveur d'inférence Triton avec le service principal TensorRT, définissez le paramètre pciPassthru<vgpu-id>.cfg.enable_uvm sur 1 dans l'onglet Paramètres avancés des paramètres de la machine virtuelle.

    où <vgpu-id> identifie le vGPU attribué à la machine virtuelle. Par exemple, si deux vGPU sont attribués à la machine virtuelle, définissez pciPassthru0.cfg.parameter=1 et pciPassthru1.cfg.parameter = 1.

    Important : Cette configuration désactive la migration vSphere vMotion pour la VM à apprentissage profond.
  11. Examinez les spécifications du déploiement et cliquez sur Terminer.

Résultats

Le pilote invité vGPU et la charge de travail d'apprentissage profond spécifiée sont installés lorsque vous démarrez la VM à apprentissage profond.

Vous pouvez examiner les journaux ou ouvrir l'instance de JupyterLab fournie avec certaines images. Vous pouvez partager les détails de l'accès avec des scientifiques des données de votre organisation. Reportez-vous à la section Charges de travail d'apprentissage profond dans VMware Private AI Foundation with NVIDIA.

Que faire ensuite

  • Connectez-vous à la VM à apprentissage profond via SSH et vérifiez que tous les composants sont installés et en cours d'exécution comme prévu.
  • Envoyez les détails d'accès à vos scientifiques des données.