Einrichten einer Private Harbor-Registrierung in VMware Private AI Foundation with NVIDIA

Sie können Harbor als lokale Registrierung für Container-Images aus dem NVIDIA NGC-Katalog verwenden.

Hinweis: Für die Installation des Harbor-Diensts im Supervisor ist eine Internetverbindung erforderlich.

Wenn Sie die Integration der Harbor-Registrierung mit Supervisor verwenden möchten, können Sie die folgenden Einrichtungsmethoden anwenden:

• Verwenden Sie eine Harbor-Registrierung nur im Supervisor in der GPU-fähigen Arbeitslastdomäne. Führen Sie die folgenden Aufgaben aus:
  1. Aktivieren von Harbor als ein Supervisor-Dienst.
  2. Hochladen von KI-Container-Images in eine Private Harbor-Registrierung in VMware Private AI Foundation with NVIDIA

  Sie können Ihre Umgebung vom Internet trennen und den Harbor-Dienst nach der Installation des Dienstes oder nach der Installation und dem Herunterladen des ersten Satzes der erforderlichen Container-Images als lokale Container-Registrierung verwenden.

  Bei dieser Methode müssen Sie Container-Images manuell aus dem NVIDIA NGC-Katalog auf eine Maschine in der Umgebung herunterladen und dann in die Registrierung hochladen.

• Verwenden Sie eine Harbor-Registrierung als Replikat einer mit dem Internet verbundenen Harbor-Registrierung.

  Eine Harbor-Registrierung, die außerhalb der VMware Private AI Foundation with NVIDIA-Umgebung ausgeführt wird, ist immer mit dem Internet verbunden. Die Harbor-Registrierung im Supervisor für die GPU-fähige Arbeitslastdomäne empfängt Container-Images von der verbundenen Domäne mithilfe eines Proxy-Mechanismus. Auf diese Weise bleiben die Hauptkomponenten der VMware Cloud Foundation-Instanz isoliert.

  Bei diesem Ansatz sind zusätzliche Ressourcen für die verbundene Registrierung erforderlich.

Hinweis: Teilen Sie ausreichend Speicherplatz für das Hosting der NVIDIA NGC-Container zu, die Sie auf einer Deep Learning-VM oder einem TKG-Cluster bereitstellen möchten. Sie sollten mindestens drei Versionen jedes Containers im Speicher bereitstellen.

Wenn die Verbindung mit dem Internet während der Installation des Harbor-Diensts oder der Einrichtung einer verbundenen Harbor-Registrierung für Ihre Organisation keine Option ist, verwenden Sie eine Containerregistrierung eines anderen Anbieters.

Hochladen von KI-Container-Images in eine Private Harbor-Registrierung in VMware Private AI Foundation with NVIDIA

In einer nicht verbundenen Umgebung, in der Sie eine Harbor-Registrierung nur auf dem KI-fähigen Supervisor verwenden, müssen Sie die KI-Container-Images, die Sie auf einer Deep Learning-VM oder einem TKG-Cluster bereitstellen möchten, manuell aus dem NVIDIA NGC-Katalog in Harbor hochladen.

Prozedur

1. Konfigurieren Sie auf den Maschinen für den Zugriff auf NVIDIA NGC und auf die getrennte VMware Cloud Foundation-Instanz den Docker-Client mit dem Zertifikat der Harbor-Registrierung.
   Siehe Konfigurieren eines Docker-Clients mit einem Registrierungszertifikat.
2. Melden Sie sich bei NVIDA NGC an.
   Verwenden Sie den reservierten Benutzernamen von $oauthtoken und fügen Sie den API-Schlüssel in das Kennwortfeld ein.

   docker login nvcr.io

3. Ziehen Sie die erforderlichen Container-Images auf die Maschine mit Zugriff auf den NVIDIA NGC-Katalog und speichern Sie sie in einem Archiv.
   Um beispielsweise den CUDA-Beispielcontainer herunterzuladen, führen Sie die folgenden Befehle aus.

   docker pull nvcr.io/nvidia/k8s/cuda-sample:vectoradd-cuda11.7.1-ubi8
   docker save > cuda-sample.tar nvcr.io/nvidia/k8s/cuda-sample:vectoradd-cuda11.7.1-ubi8

4. Kopieren Sie das Archiv auf die Maschine mit Zugriff auf die lokale Containerregistrierung.
5. Laden Sie auf der Maschine mit Zugriff auf die lokale Containerregistrierung das Container-Image.

   docker load < cuda-sample.tar

6. Übertragen Sie die Container-Images an die Harbor-Registrierung.
   Siehe Weitergeben von Container-Images an eine Registrierung.

Erstellen einer Harbor-Registrierung in VMware Private AI Foundation with NVIDIA als Replikat einer verbundenen Registrierung

Um die neuesten Images im NVIDIA NGC-Katalog problemlos zu aktualisieren, können Sie eine Harbor-Registrierung in einem Supervisor verwenden, der sich in einer anderen VI-Arbeitslastdomäne oder VMware Cloud Foundation-Instanz befindet und mit dem Internet verbunden ist. Anschließend replizieren Sie diese verbundene Registrierung auf dem Supervisor, auf dem Sie KI-Arbeitslasten ausführen möchten.

Sie rufen die neuesten Container-Images von NVIDIA NGC in die verbundene Harbor-Registrierung ab und übertragen sie mithilfe einer Proxy-Cache-Verbindung in die getrennte Harbor-Registrierung. Auf diese Weise müssen Sie Container-Images nicht häufig herunterladen und dann manuell hochladen.

Hinweis: Sie können auch eine verbundene Containerregistrierung eines anderen Anbieters verwenden.

Sie richten das Netzwerk zwischen den beiden Registrierungen wie folgt ein:

• Die verbundene Registrierung kann zur Replikatregistrierung geroutet werden.
• Die verbundene Registrierung wird in einer DMZ platziert, in der nur docker push- und docker pull-Kommunikation zwischen den beiden Registrierungen zulässig ist.

Voraussetzungen

Aktivieren von Harbor als ein Supervisor-Dienst im Supervisor in der GPU-fähigen Arbeitslastdomäne.

Prozedur

1. Melden Sie sich bei der verbundenen Benutzeroberfläche der Harbor-Registrierung als Harbor-Systemadministrator an.
2. Wechseln Sie zur Seite Verwaltung > Registrierungen, erstellen Sie einen Endpoint für den NVIDIA NGC-Katalog nvcr.io/nvaie und wählen Sie den Anbieter Docker-Registrierung sowie Ihren NVIDIA NGC-API-Schlüssel aus.
3. Wechseln Sie zur Seite Verwaltung > Projekte und erstellen Sie ein Proxy-Cache-Projekt, das mit dem Endpoint für nvcr.io/nvaie verbunden ist.
4. Erstellen Sie auf der Seite Registrierungen einen Replizierungs-Endpoint für die getrennte Registrierung und wählen Sie den Anbieter Harbor.
5. Wechseln Sie zur Seite Verwaltung > Replizierungen und erstellen Sie eine Replizierungsregel.
   • Verwenden Sie den Push-basierten Replizierungsmodus.
   • Geben Sie in der Eigenschaft Zielregistrierung die URL der getrennten Registrierung auf dem KI-fähigen Supervisor ein.
   • Legen Sie Filter, Ziel-Namespace und Auslösermodus entsprechend den Anforderungen Ihrer Organisation fest.

Nächste Maßnahme

1. Ziehen Sie die Container-Images, die von Ihrer Organisation benötigt werden, von NVIDIA NGC in die verbundene Registrierung, indem Sie docker pull auf dem Docker-Clientcomputer ausführen.
2. Wenn die Replizierungsregel den manuellen Auslösermodus aufweist, führen Sie Replizierungen nach Bedarf manuell aus.