VMware vSphere Bitfusion virtualisiert Hardwarebeschleunigung, wie z. B. grafische Verarbeitungseinheiten (GPUs), um einen Pool mit gemeinsam genutzten, netzwerkzugänglichen Ressourcen zur Verfügung zu stellen, die Arbeitslasten für künstliche Intelligenz (AI) und Machine Learning (ML) unterstützen.
vSphere Bitfusion-Architektur
vSphere Bitfusion verfügt über eine Client-Server-Architektur. Das Produkt ermöglicht mehreren Client-VMs, die Anwendungen für künstliche Intelligenz (AI) und Machine Learning (ML) ausführen, gemeinsam auf Remote-GPUs auf virtuellen Maschinen zuzugreifen, die vSphere Bitfusion-Serversoftware ausführen. Sie führen die Anwendungen auf den vSphere Bitfusion-Clientmaschinen aus, während die GPUs, die eine Beschleunigung bieten, auf den vSphere Bitfusion-Servermaschinen in einem Netzwerk installiert sind. Die Anwendungen können Dateien öffnen, Arbeitsspeicher zuteilen und CUDA aufrufen, als ob sie auf einer Maschine mit lokalen GPUs ausgeführt werden würden.
Die folgende Abbildung ist ein Beispiel für einen kleinen vSphere Bitfusion-Cluster, wie z. B. eine Gruppe von vSphere Bitfusion-Server-Client-Maschinen und vCenter Server in einem Switch-Netzwerk. Eine minimale vSphere Bitfusion-Clusterkonfiguration ist ein Client, ein Server und ein vCenter Server. Sie können große Cluster mit mehreren Servern und Clients erstellen.
Wie funktioniert vSphere Bitfusion?
Wenn Sie eine KI- oder ML-Anwendung auf dem vSphere Bitfusion-Client starten, fängt vSphere Bitfusion die CUDA-Aufrufe der Anwendung ab und sieht die Daten- und Datenzeiger der Aufrufe. Der vSphere Bitfusion-Server benötigt keine Verbindung mit dem Speicher, in dem die Anwendungsdaten aufbewahrt werden, sondern nur zum vSphere Bitfusion-Client. Der Client überträgt die Daten und die restlichen CUDA-Aufrufe an den Server. Der vSphere Bitfusion-Server verarbeitet die Aufrufe und gibt die Ergebnisse an den Client zurück.
Wenn Sie KI- und ML-Anwendungen in vSphere Bitfusion starten, können Sie die GPU-Ressourcen gemeinsam nutzen.
- Sie können GPU-Ressourcen von vSphere Bitfusion-Servern aus dynamisch zuteilen und darauf zugreifen.
Anwendungen können GPU-Ressourcen gemeinsam nutzen, die nicht auf lokalen Maschinen installiert sind, und Sie können jede Anwendung in einer geeigneten Umgebung auf einem konfigurierten vSphere Bitfusion-Client ausführen, z. B. einer VM, einer Bare Metal-Maschine oder einem Container. Anwendungen verbrauchen GPU-Beschleunigungsdienste aus einem Pool von vSphere Bitfusion-Servern über ein Netzwerk hinweg und verbrauchen die Ressourcen nur für die Zeitdauer, die eine Anwendung oder Sitzung ausgeführt wird. GPUs werden wieder in den Pool aufgenommen, wenn Anwendungen oder Sitzungen abgeschlossen wurden.
- Sie können auf Partitionen von GPU-Ressourcen für die gleichzeitige gemeinsame Nutzung mit anderen Anwendungen zugreifen.
Der Arbeitsspeicher einer physischen GPU kann in Bruchteile beliebiger Größe unterteilt werden. Jeder Bruchteilkann gleichzeitig einer anderen Anwendung zugewiesen werden. vSphere Bitfusion führt die Freigabe mit einer Interpositionstechnologie durch. vSphere Bitfusion fängt API-Aufrufe ab, die normalerweise an eine lokale Beschleunigung auf einem PCIe-Hostbus adressiert sind, und sendet die API-Aufrufe und zugehörige Daten über ein Netzwerk. vSphere Bitfusion stellt Freigabedienste für AI- und ML-Anwendungen bereit und unterstützt die CUDA-API zur Ansteuerung von NVIDIA-GPUs.
Hauptkomponenten von vSphere Bitfusion
- Definition eines vSphere Bitfusion-Servers
- vSphere Bitfusion-Server wird auf einem ESXi-Host mit lokal installierten GPUs als VMware-Appliance ausgeführt, bei der es sich um eine vorkonfigurierte virtuelle Maschine (VM) mit vorab gepackter Software und gepackten Diensten handelt. Der Server benötigt Zugriff auf die lokalen GPUs, in der Regel über VMware vSphere ® DirectPath I/O™.
- Definition eines vSphere Bitfusion-Clients
- vSphere Bitfusion-Client wird auf VMs ausgeführt, auf denen die AI- und ML-Anwendungen ausgeführt werden.
- Definition eines vSphere Bitfusion-Plug-Ins
- Die vSphere Bitfusion-Server registrieren ein vSphere Bitfusion-Plug-In bei VMware vCenter Server. Das-Plug-In stellt die Überwachung und Verwaltung von vSphere Bitfusion-Clients und -Servern bereit.
- Definition eines vSphere Bitfusion-Clusters
- vSphere Bitfusion-Cluster ist der Satz aller vSphere Bitfusion-Server und -Clients in einer vCenter Server-Instanz.
- Definition einer vSphere Bitfusion-Linux-Benutzergruppe
-
Während des Installationsvorgangs eines
vSphere Bitfusion-Clients erstellt der Client eine
vSphere Bitfusion-Linux-Benutzergruppe
bitfusion. Nur die Gruppenmitglieder können vSphere Bitfusion verwenden. Bestimmte Konfigurationsdateien werden mit den entsprechenden Berechtigungen eingerichtet, und die Gruppenmitglieder übernehmen die entsprechenden Grenzwerte, um effektiv mit vSphere Bitfusion arbeiten zu können. - Definition eines vSphere Client
- Über den vSphere Client können Sie mithilfe eines Webbrowsers eine Verbindung mit vCenter Server-Instanzen herstellen, um Ihre vSphere-Infrastruktur zu verwalten. Sie greifen auf das vSphere Bitfusion-Plug-In über den vSphere Client zu.
- Definition einer Befehlszeilenschnittstelle (CLI)
- Sie können vSphere Bitfusion-Server und -Clients mithilfe von Befehlen über die Befehlszeilenschnittstelle (CLI) verwalten.
- Definition eines vCenter Server
- vCenter Server ist die Serververwaltungssoftware, die eine zentrale Plattform für die Steuerung Ihrer vSphere-Umgebung bereitstellt.
vSphere Bitfusion – Häufig gestellte Fragen
Weitere Informationen zu vSphere Bitfusion finden Sie im Abschnitt Häufig gestellte Fragen in der Cloud Platform Tech Zone.
