Provisionner un cluster TKG accéléré par GPU à l'aide d'un catalogue en libre-service dans VMware Private AI Foundation with NVIDIA

Dans VMware Private AI Foundation with NVIDIA, en tant qu'ingénieur DevOps, vous pouvez provisionner un cluster TKG accéléré avec des GPU NVIDIA à partir de VMware Aria Automation à l'aide d'éléments de catalogue en libre-service du cluster Kubernetes d'IA dans Automation Service Broker. Ensuite, vous pouvez déployer des images de conteneur d'IA à partir de NVIDIA NGC sur le cluster.

Conditions préalables

Vérifiez auprès de votre administrateur de cloud que VMware Private AI Foundation with NVIDIA est configuré. Reportez-vous à la section Préparation de VMware Cloud Foundation pour le déploiement de charges de travail Private AI.

Procédure

• ♦ Dans Automation Service Broker, déployez un élément de catalogue du cluster Kubernetes d'IA sur l'instance de superviseur configurée par l'administrateur de cloud.
  • Pour un cluster Kubernetes Tanzu Grid sans RAG, utilisez l'élément de catalogue Cluster Kubernetes d'IA. Reportez-vous à la section Déployer un cluster Tanzu Kubernetes Grid accéléré par GPU.
  • Pour un cluster de grille Tanzu Grid Kubernetes basé sur RAG, utilisez l'élément de catalogue Cluster Kubernetes RAG d'IA. Reportez-vous à la section Déployer un cluster RAG Tanzu Kubernetes Grid accéléré par GPU.

Que faire ensuite

Exécutez une image de conteneur d'IA. Dans un environnement connecté, utilisez le catalogue NVIDIA NGC. Dans un environnement déconnecté, utilisez le registre Harbor sur le superviseur.

Pour un cluster de grille Kubernetes Grid Tanzu basé sur RAG, déployez une base de données PostgreSQL pgvector dans VMware Data Services Manager et installez l'exemple de pipeline RAG à partir de NVIDIA. Reportez-vous à la section Déployer une charge de travail RAG sur un cluster TKG.