Bereitstellen eines GPU-beschleunigten TKG-Clusters mithilfe eines Self-Service-Katalogs in VMware Private AI Foundation with NVIDIA

In VMware Private AI Foundation with NVIDIA können Sie als DevOps-Ingenieur einen mit NVIDIA-GPUs beschleunigten TKG-Cluster aus VMware Aria Automation bereitstellen, indem Sie Self-Service-Katalogelemente eines KI-Kubernetes-Clusters in Automation Service Broker verwenden. Anschließend können Sie KI-Container-Images von NVIDIA NGC auf dem Cluster bereitstellen.

Voraussetzungen

Stellen Sie mit Ihrem Cloud-Administrator sicher, dass VMware Private AI Foundation with NVIDIA konfiguriert ist. Weitere Informationen finden Sie unter Vorbereiten von VMware Cloud Foundation für die Bereitstellung von Private AI-Arbeitslasten.

Prozedur

• ♦ Stellen Sie in Automation Service Broker ein KI-Kubernetes-Cluster-Katalogelement auf der vom Cloud-Administrator konfigurierten Supervisor-Instanz bereit.
  • Verwenden Sie für einen Tanzu Grid Kubernetes-Cluster ohne RAG das Katalogelement KI-Kubernetes-Cluster. Weitere Informationen finden Sie unter Bereitstellen eines GPU-beschleunigten Tanzu Kubernetes Grid-Clusters.
  • Verwenden Sie für einen RAG-basierten Tanzu Grid Kubernetes-Cluster das Katalogelement KI-Kubernetes-RAG-Cluster. Weitere Informationen finden Sie unter Bereitstellen eines GPU-beschleunigten Tanzu Kubernetes Grid-RAG-Clusters.

Nächste Maßnahme

Führen Sie ein KI-Container-Image aus. Verwenden Sie in einer verbundenen Umgebung den NVIDIA NGC-Katalog. Verwenden Sie in einer getrennten Umgebung die Harbor-Registrierung auf dem Supervisor.

Stellen Sie für einen RAG-basierten Tanzu Grid Kubernetes-Cluster eine PostgreSQL-Datenbank vom Typ „pgvector“ in VMware Data Services Manager bereit und installieren Sie die RAG-Beispiel-Pipeline aus NVIDIA. Weitere Informationen finden Sie unter Bereitstellen einer RAG-Arbeitslast auf einem TKG-Cluster.