Als MLOps-Ingenieur können Sie ab VMware Private AI Foundation with NVIDIA für VMware Cloud Foundation 5.2.1 ML-Modelle mithilfe einer zentralen Harbor-Containerregistrierung auf Deep Learning-VMs und TKG-Cluster verteilen.

Die Verwendung einer zentralen Modellgalerie für Ihre ML-Modelle hat folgende Vorteile:

  • Verteilen Sie Modelle innerhalb Ihrer Organisation, die Sie auf einer Deep Learning-VM geprüft haben. Modelle im Internet können Schadcode enthalten oder auf bösartiges Verhalten trainiert werden.
  • Verteilen Sie Modelle für die kontinuierliche Bereitstellung organisationsübergreifend oder stufen Sie sie zwischen Plattformen oder Umgebungen herauf.
  • Behalten Sie Modellintegrität in Ihrer kontrollierten Umgebung bei.
  • Mithilfe der Harbor-Funktionen für den Projektzugriff können Sie den Zugriff auf vertrauliche Daten einschränken, die zum Trainieren und Optimieren eines Modells verwendet werden.
  • Speichern Sie Metadaten im OCI-Format (Open Container Initiative), das die Inhalte und Abhängigkeiten Ihrer ML-Modelle beschreibt. Auf diese Weise können Plattformen angegeben werden, auf denen ein Zielmodell ausgeführt werden kann.

Mithilfe von Harbor können Sie Modelle aus dem NVIDIA NGC-Katalog, aus Hugging Face und einem anderen ML-Modellkatalog speichern.

Definition einer Modellgalerie

Bei einer Modellgalerie in VMware Private AI Foundation with NVIDIA handelt es sich um ein Harbor-Projekt mit folgender Konfiguration:

Tabelle 1. ML-Modellgalerie in Harbor
Modellgalerie-Einheit Harbor- oder OCI-Einheit Anforderungen
Modellgalerie Projekt mit konfiguriertem Benutzerzugriff Muss über einen eindeutigen Namen in der Habor-Registrierung verfügen.
Modell OCI-Repository Muss einen eindeutigen Namen im Projekt entsprechend dem OCI-Format aufweisen.
Revision OCI-Artefakt Unveränderliches Manifest, das durch einen Inhalts-Digest angegeben wird.

Wenn dieselben Modelldaten mehrmals übertragen werden, wird nur eine Revision gespeichert. Wenn sich die Modelldaten ändern, wird bei jeder Übertragung eine neue Revision erstellt.

Sie können eine Modellrevision kennzeichnen. Anders als in einem Container-Ökosystem wird das Tag latest zwar unterstützt, stellt aber nicht die Standardoption beim Abrufen eines Modells dar.
Datei OCI-Ebene und Blob -

Harbor verwendet beispielsweise folgendes Format für ein Beispiel einer Llama-Modellrevision:



Übertragen von Modellen in und Abrufen von Modellen aus einer Modellgalerie

In VMware Private AI Foundation with NVIDIA können Sie eine Deep Learning-VM zum Validieren und Optimieren von Modellen verwenden, die aus einem öffentlichen Containerregistrierung oder aus einer Containerregistrierung in Ihrer Organisation heruntergeladen wurden. Anschließend verwenden Sie das Befehlszeilendienstprogramm pais auf der VM, um Modelle an Modellgalerien in Harbor zu übertragen und diese aus Modellgalerien in Habor abzurufen.