Provisioning di un cluster TKG con accelerazione GPU tramite un catalogo self-service in VMware Private AI Foundation with NVIDIA

In VMware Private AI Foundation with NVIDIA in qualità di tecnico DevOps, è possibile eseguire il provisioning di un cluster TKG accelerato con GPU NVIDIA da VMware Aria Automation utilizzando gli elementi catalogo self-service di un cluster Kubernetes AI in Automation Service Broker. È quindi possibile distribuire le immagini dei container AI da NVIDIA NGC nel cluster.

Prerequisiti

Verificare con l'amministratore del cloud che VMware Private AI Foundation with NVIDIA sia configurato. Vedere Preparazione di VMware Cloud Foundation per la distribuzione del carico di lavoro di Private AI.

Procedura

• ♦ In Automation Service Broker distribuire un elemento catalogo di un cluster Kubernetes AI nell'istanza del supervisore configurata dall'amministratore del cloud.
  • Per un cluster Tanzu Kubernetes Grid non RAG, utilizzare l'elemento catalogo Cluster Kubernetes AI. Vedere Distribuzione di un cluster Tanzu Kubernetes Grid con accelerazione GPU.
  • Per un cluster Tanzu Kubernetes Grid basato su RAG, utilizzare l'elemento catalogo Cluster RAG Kubernetes AI. Vedere Distribuzione di un cluster RAG Tanzu Kubernetes Grid con accelerazione GPU.

Operazioni successive

Eseguire un'immagine del container AI. In un ambiente connesso, utilizzare il catalogo NVIDIA NGC. In un ambiente disconnesso, utilizzare il registro Harbor nel supervisore.

Per un cluster Tanzu Kubernetes Grid basato su RAG, distribuire un database PostgreSQL pgvector in VMware Data Services Manager e installare la pipeline di esempio di RAG da NVIDIA. Vedere Distribuzione di un carico di lavoro RAG in un cluster TKG.