In VMware Private AI Foundation with NVIDIA können Sie als DevOps-Ingenieur einen mit NVIDIA-GPUs beschleunigten TKG-Cluster aus VMware Aria Automation bereitstellen, indem Sie Self-Service-Katalogelemente eines KI-Kubernetes-Clusters in Automation Service Broker verwenden. Anschließend können Sie KI-Container-Images von NVIDIA NGC auf dem Cluster bereitstellen.
Voraussetzungen
Prozedur
- ♦ Stellen Sie in Automation Service Broker ein KI-Kubernetes-Cluster-Katalogelement auf der vom Cloud-Administrator konfigurierten Supervisor-Instanz bereit.
- Verwenden Sie für einen Tanzu Grid Kubernetes-Cluster ohne RAG das Katalogelement KI-Kubernetes-Cluster. Weitere Informationen finden Sie unter Bereitstellen eines GPU-beschleunigten Tanzu Kubernetes Grid-Clusters.
- Verwenden Sie für einen RAG-basierten Tanzu Grid Kubernetes-Cluster das Katalogelement KI-Kubernetes-RAG-Cluster. Weitere Informationen finden Sie unter Bereitstellen eines GPU-beschleunigten Tanzu Kubernetes Grid-RAG-Clusters.
Nächste Maßnahme
Führen Sie ein KI-Container-Image aus. Verwenden Sie in einer verbundenen Umgebung den NVIDIA NGC-Katalog. Verwenden Sie in einer getrennten Umgebung die Harbor-Registrierung auf dem Supervisor.
Stellen Sie für einen RAG-basierten Tanzu Grid Kubernetes-Cluster eine PostgreSQL-Datenbank vom Typ „pgvector“ in VMware Data Services Manager bereit und installieren Sie die RAG-Beispiel-Pipeline aus NVIDIA. Weitere Informationen finden Sie unter Bereitstellen einer RAG-Arbeitslast auf einem TKG-Cluster.