Sie können KI-/ML-Arbeitslasten in TKG-Dienst-Clustern mit der NVIDIA GPU-Technologie bereitstellen.

TKGS-Unterstützung für KI-/ML-Arbeitslasten

Sie können Computing-intensive Arbeitslasten für TKG-Dienst-Cluster bereitstellen. In diesem Kontext handelt es sich bei einer rechenintensiven Arbeitslast um eine KI- (Künstliche Intelligenz) oder ML-Anwendung (Maschinelles Lernen), die die Verwendung eines Geräts für die GPU-Beschleunigung erfordert.

Zur Vereinfachung der Ausführung von KI-/ML-Arbeitslasten in einer Kubernetes-Umgebung ist VMware eine Partnerschaft mit NVIDIA zur Unterstützung der NVIDIA GPU-Cloud-Plattform eingegangen. Dies bedeutet, dass Sie Container-Images aus dem NGC-Katalog in TKGS-Clustern bereitstellen können. Weitere Informationen zur Unterstützung von NVIDIA GPU in vSphere 8 finden Sie im vGPU-Artikel in Tech Zone.

Unterstützte GPU-Modi

Für die Bereitstellung von NVIDIA-basierten KI-/ML-Arbeitslasten in TKG-Dienst-Clustern muss die Ubuntu-Edition von Tanzu Kubernetes Releases (Version 1.22 oder höher) verwendet werden. vSphere unterstützt zwei Modi: NVIDIA Grid vGPU und GPU-Passthrough mithilfe eines Dynamic DirectPath I/O-Geräts. Weitere Informationen finden Sie unter Unterstützte Betriebssysteme und Kubernetes-Plattformen in der NVIDIA-Dokumentation.
Tabelle 1. vSphere-VMs mit NVIDIA vGPU
Betriebssystem TKr vSphere with Tanzu Beschreibung
Ubuntu 20.04 LTS 1.22 – 1.2x* (letzte bis einschließlich 1.28)

7.0 U3c

8.0 U2+
Das GPU-Gerät wird vom Treiber des NVIDIA-Hostmanagers virtualisiert, der auf jedem ESXi-Host installiert ist. Das GPU-Gerät wird dann von mehreren virtuellen NVIDIA vGPUs (virtual GPUs) gemeinsam genutzt.
Hinweis: Der vSphere Distributed Resource Scheduler (DRS) verteilt vGPU-VMs weitläufig auf die Hosts, aus denen sich ein vSphere-Cluster zusammensetzt. Weitere Informationen finden Sie unter DRS Placement of vGPU VMs (DRS-Platzierung von vGPU-VMs) im Handbuch zur vSphere-Ressourcenverwaltung.

Jede NVIDIA vGPU wird durch die Menge des Arbeitsspeichers auf dem GPU-Gerät definiert. Wenn das GPU-Gerät beispielsweise über Arbeitsspeicher (RAM) von insgesamt 32 GB verfügt, können Sie 8 vGPUs mit jeweils 4 GB Arbeitsspeicher erstellen.
Tabelle 2. vSphere-VMs mit GPU-Passthrough
Betriebssystem TKr vSphere with Tanzu Beschreibung
Ubuntu 20.04 LTS 1.22 – 1.2x* (letzte bis einschließlich 1.28)

7.0 U3c

8.0 U2+

In derselben VM-Klasse, in der Sie das NVIDIA vGPU-Profil konfigurieren, integrieren Sie Unterstützung für ein Passthrough-Netzwerkgerät mit Dynamic DirectPath IO. In diesem Fall wird die VM-Platzierung von vSphere DRS festgelegt.