Sie können Harbor als Supervisor-Dienst und als lokale Registrierung für Container-Images aus dem NVIDIA NGC-Katalog oder zum Speichern validierter ML-Modelle verwenden.

Wenn Sie die Integration der Harbor-Registrierung mit Supervisor verwenden möchten, können Sie die folgenden Einrichtungsmethoden anwenden:

Hinweis: Diese Dokumentation basiert auf VMware Cloud Foundation 5.2.1. Informationen zur Funktion VMware Private AI Foundation with NVIDIA in VMware Cloud Foundation 5.2 finden Sie im Handbuch zu VMware Private AI Foundation with NVIDIA für VMware Cloud Foundation 5.2.
Getrennte Umgebung
Hinweis: Für die Installation des Harbor-Diensts im Supervisor ist eine Internetverbindung erforderlich.
  • Verwenden Sie eine Harbor-Registrierung nur im Supervisor in der GPU-fähigen Arbeitslastdomäne. Führen Sie die folgenden Aufgaben aus:
    1. Aktivieren von Harbor als Supervisor-Dienst.
      1. Melden Sie sich für VMware Cloud Foundation 5.2.1 bei der vCenter Server-Instanz für die Verwaltungsdomäne unter https://<vcenter_server_fqdn>/ui an.
      2. Klicken Sie im Seitenbereich des vSphere Client auf Private AI Foundation.
      3. Wählen Sie im Private AI Foundation-Workflow die Option Cloud getrennt im oberen Bereich aus und klicken Sie auf den Abschnitt Arbeitslastdomäne einrichten.
      4. Installieren der Supervisor-Dienste für Contour und Harbor. Weitere Informationen finden Sie unter Aktivieren von Harbor als ein Supervisor-Dienst. Die Assistenten für die Installation der Supervisor-Dienste für Contour und Harbor im Workflow für geführte Bereitstellungen sind identisch mit denen im Bereich Arbeitslastverwaltung des vSphere Client.
    2. Hochladen von KI-Container-Images in eine Private Harbor-Registrierung in VMware Private AI Foundation with NVIDIA

    In einer getrennten Umgebung können Sie Ihre Umgebung vom Internet trennen und den Harbor-Dienst nach der Installation des Diensts oder nach der Installation und dem Herunterladen des ersten Satzes der erforderlichen Container-Images als lokale Container-Registrierung verwenden. Bei dieser Methode müssen Sie Container-Images manuell aus dem NVIDIA NGC-Katalog auf eine Maschine in der Umgebung herunterladen und dann in die Registrierung hochladen.

  • Verwenden Sie eine Harbor-Registrierung als Replikat einer mit dem Internet verbundenen Harbor-Registrierung.

    Eine Harbor-Registrierung, die außerhalb der VMware Private AI Foundation with NVIDIA-Umgebung ausgeführt wird, ist immer mit dem Internet verbunden. Die Harbor-Registrierung im Supervisor für die GPU-fähige Arbeitslastdomäne empfängt Container-Images von der verbundenen Domäne mithilfe eines Proxy-Mechanismus. Auf diese Weise bleiben die Hauptkomponenten der VMware Cloud Foundation-Instanz isoliert.

    Bei diesem Ansatz sind zusätzliche Ressourcen für die verbundene Registrierung erforderlich.

Hinweis: Teilen Sie ausreichend Speicherplatz für das Hosting der NVIDIA NGC-Container zu, die Sie auf einer Deep Learning-VM oder einem TKG-Cluster bereitstellen möchten. Sie sollten mindestens drei Versionen jedes Containers im Speicher bereitstellen.

Wenn die Verbindung mit dem Internet während der Installation des Harbor-Diensts oder der Einrichtung einer verbundenen Harbor-Registrierung für Ihre Organisation keine Option ist, verwenden Sie eine Containerregistrierung eines anderen Anbieters.

Speichern von ML-Modellen
Verwenden Sie eine Harbor-Registrierung im Supervisor in der GPU-fähigen Arbeitslastdomäne. Führen Sie die folgenden Aufgaben aus:
  1. Weitere Informationen finden Sie unter Aktivieren von Harbor als ein Supervisor-Dienst.
  2. Hochladen von KI-Container-Images in eine Private Harbor-Registrierung in VMware Private AI Foundation with NVIDIA

Hochladen von KI-Container-Images in eine Private Harbor-Registrierung in VMware Private AI Foundation with NVIDIA

In einer nicht verbundenen Umgebung, in der Sie eine Harbor-Registrierung nur auf dem KI-fähigen Supervisor verwenden, müssen Sie die KI-Container-Images, die Sie auf einer Deep Learning-VM oder einem TKG-Cluster bereitstellen möchten, manuell aus dem NVIDIA NGC-Katalog in Harbor hochladen.

Prozedur

  1. Konfigurieren Sie auf den Maschinen mit Zugriff auf NVIDIA NGC und auf die getrennte VMware Cloud Foundation-Instanz den Docker-Client mit dem Zertifikat der Harbor-Registrierung.
    Siehe Konfigurieren eines Docker-Clients mit einem Registrierungszertifikat.
  2. Melden Sie sich bei NVIDA NGC an.
    Verwenden Sie den reservierten Benutzernamen von $oauthtoken und fügen Sie den API-Schlüssel in das Kennwortfeld ein. 
    docker login nvcr.io
  3. Ziehen Sie die erforderlichen Container-Images auf die Maschine mit Zugriff auf den NVIDIA NGC-Katalog und speichern Sie sie in einem Archiv.
    Beispiel: Zum Herunterladen des CUDA-Beispiel-Container-Images führen Sie folgende Befehle aus. 
    docker pull nvcr.io/nvidia/k8s/cuda-sample:vectoradd-cuda11.7.1-ubi8
docker save > cuda-sample.tar nvcr.io/nvidia/k8s/cuda-sample:vectoradd-cuda11.7.1-ubi8
  4. Kopieren Sie das Archiv auf die Maschine mit Zugriff auf die lokale Containerregistrierung.
  5. Laden Sie auf der Maschine mit Zugriff auf die lokale Containerregistrierung das Container-Image. 
    docker load < cuda-sample.tar
  6. Melden Sie sich bei der Harbor-Registrierung an.
    Wenn die Harbor-Registrierung beispielsweise unter my-harbor-registry.example.com ausgeführt wird, verwenden Sie die folgenden Befehle. 
    docker login my-harbor-registry.example.com
  7. Taggen Sie das Image, das Sie an das Projekt weitergeben möchten, mit demselben Namen wie den zu verwendenden Namespace.
    Beispiel: Führen Sie folgenden Befehl aus, um das CUDA-Beispiel-Container-Image für das Projekt „my-private-ai-namespace“ in der Registrierung „my-harbor-registry.example.com“ als aktuelles Image zu kennzeichnen. 
    docker tag nvcr.io/nvidia/k8s/cuda-sample:vectoradd-cuda11.7.1-ubi8 my-harbor-registry.example.com/my-private-ai-namespace/cuda-sample:latest
  8. Übertragen Sie die Container-Images an die Harbor-Registrierung. 
    docker push my-harbor-registry.example.com/my-private-ai-namespace/cuda-sample:latest

Erstellen einer Harbor-Registrierung in VMware Private AI Foundation with NVIDIA als Replikat einer verbundenen Registrierung

Um die neuesten Images im NVIDIA NGC-Katalog problemlos zu aktualisieren, können Sie eine Harbor-Registrierung in einem Supervisor verwenden, der sich in einer anderen VI-Arbeitslastdomäne oder VMware Cloud Foundation-Instanz befindet und mit dem Internet verbunden ist. Anschließend replizieren Sie diese verbundene Registrierung auf dem Supervisor, auf dem Sie KI-Arbeitslasten ausführen möchten.

Sie rufen die neuesten Container-Images von NVIDIA NGC in die verbundene Harbor-Registrierung ab und übertragen sie mithilfe einer Proxy-Cache-Verbindung in die getrennte Harbor-Registrierung. Auf diese Weise müssen Sie Container-Images nicht häufig herunterladen und dann manuell hochladen.

Hinweis: Sie können auch eine verbundene Containerregistrierung eines anderen Anbieters verwenden.

Sie richten das Netzwerk zwischen den beiden Registrierungen wie folgt ein:

  • Die verbundene Registrierung kann zur Replikatregistrierung geroutet werden.
  • Die verbundene Registrierung wird in einer DMZ platziert, in der nur docker push- und docker pull-Kommunikation zwischen den beiden Registrierungen zulässig ist.

Voraussetzungen

Aktivieren von Harbor als ein Supervisor-Dienst im Supervisor in der GPU-fähigen Arbeitslastdomäne.

Prozedur

  1. Melden Sie sich bei der verbundenen Benutzeroberfläche der Harbor-Registrierung als Harbor-Systemadministrator an.
  2. Wechseln Sie zur Seite Verwaltung > Registrierungen, erstellen Sie einen Endpoint für den NVIDIA NGC-Katalog nvcr.io/nvaie und wählen Sie den Anbieter Docker-Registrierung sowie Ihren NVIDIA NGC-API-Schlüssel aus.
  3. Wechseln Sie zur Seite Verwaltung > Projekte und erstellen Sie ein Proxy-Cache-Projekt, das mit dem Endpoint für nvcr.io/nvaie verbunden ist.
  4. Erstellen Sie auf der Seite Registrierungen einen Replizierungs-Endpoint für die getrennte Registrierung und wählen Sie den Anbieter Harbor.
  5. Wechseln Sie zur Seite Verwaltung > Replizierungen und erstellen Sie eine Replizierungsregel.
    • Verwenden Sie den Push-basierten Replizierungsmodus.
    • Geben Sie in der Eigenschaft Zielregistrierung die URL der getrennten Registrierung auf dem KI-fähigen Supervisor ein.
    • Legen Sie Filter, Ziel-Namespace und Auslösermodus entsprechend den Anforderungen Ihrer Organisation fest.

Nächste Maßnahme

  1. Ziehen Sie die Container-Images, die von Ihrer Organisation benötigt werden, von NVIDIA NGC in die verbundene Registrierung, indem Sie docker pull auf dem Docker-Clientcomputer ausführen.
  2. Wenn die Replizierungsregel den manuellen Auslösermodus aufweist, führen Sie Replizierungen nach Bedarf manuell aus.