En tant qu'ingénieur DevOps, vous pouvez déployer une VM à apprentissage profond avec une solution de référence RAG à partir du catalogue Automation Service Broker en libre-service.

Procédure

  1. Sur la page Catalogue dans Automation Service Broker, recherchez la carte Station de travail RAG d'IA et cliquez sur Demander.
  2. Sélectionnez un projet.
  3. Entrez un nom et une description pour le déploiement.
  4. Configurez les paramètres de la station de travail RAG.
    Paramètre Exemple de valeur
    Classe de VM A100 petit - 1 vGPU (16 Go), 8 CPU et 16 Go de mémoire
    Spécifications minimales de classe de VM :
    • CPU : 10 vCPU
    • RAM de CPU : 64 Go
    • GPU : 2xH100
    • Mémoire du GPU : 50 Go
    Taille du disque de données 3 Gi
    Mot de passe utilisateur Entrez un mot de passe pour l'utilisateur par défaut. Vous pouvez être invité à réinitialiser votre mot de passe lorsque vous vous connectez pour la première fois.
    Clé publique SSH Ce paramètre est facultatif.
  5. Installez les personnalisations logicielles.
    1. (Facultatif) Si vous souhaitez installer un script cloud-init personnalisé en plus du script cloud-init défini pour le bundle de logiciels RAG, cochez la case et collez le contenu du module de configuration.
      VMware Aria Automation combine le script cloud-init entre le bundle de logiciels RAG et le script cloud-init personnalisé.
    2. Fournissez votre clé d'accès au portail NVIDIA NGC.
    3. Entrez les informations d'identification de Docker Hub.
  6. Cliquez sur Envoyer.

Résultats

Votre VM à apprentissage profond inclut Ubuntu 22.04, un pilote NVIDIA vGPU, un moteur Docker et NVIDIA Container Toolkit, ainsi qu'une solution RAG de référence qui utilise le modèle Llama-2-13b-chat.