Beispielworkflow: Validieren und Hochladen eines ML-Modells in eine Modellgalerie

Als MLOps-Ingenieur validieren Sie ML-Modelle, die gemäß der Sicherheits-, Datenschutz- und technischen Anforderungen Ihrer Organisation integriert werden. Anschließend können Sie die Modelle in eine dedizierte Modellgalerie hochladen, die von KI-Anwendungsentwicklern oder MLOps-Ingenieuren für die automatisierte CI/CD-basierte Bereitstellung von Modelllaufzeiten verwendet werden kann.

Prozedur

Stellen Sie eine Deep Learning-VM mit einem Triton Inference Server bereit und stellen Sie mit der Berechtigung vmware eine SSH-Verbindung zur VM her.

Sie können Sie einen der folgenden Workflows verwenden. Als MLOps-Ingenieur können Sie eine Datenbank direkt über VMware Aria Automation bereitstellen. Andernfalls fordern Sie die VM-Bereitstellung bei Ihrem Cloud-Administrator oder DevOps-Ingenieur an.


Bereitstellungsworkflow	Benötigte Benutzerrolle	Beschreibung
Bereitstellung mithilfe eines Self-Service-Katalogelements in VMware Aria Automation	MLOps-Ingenieur	Weitere Informationen finden Sie unter Bereitstellen einer Deep Learning-VM mit NVIDIA Triton Inference Server unter Verwendung eines Self-Service-Katalogelements in VMware Aria Automation.
Direkte Bereitstellung in einem vSphere-Cluster.	Cloud-Administrator	Weitere Informationen finden Sie unter Direktes Bereitstellen einer Deep Learning-VM auf einem vSphere-Cluster in VMware Private AI Foundation with NVIDIA.
Bereitstellung mithilfe des Befehls `kubectl`.	DevOps-Ingenieur	Weitere Informationen finden Sie unter Bereitstellen einer Deep Learning-VM mithilfe des Befehls „kubectl“ in VMware Private AI Foundation with NVIDIA.

Wenn das Modell in Hugging Face gehostet wird, können Sie das Befehlsdienstprogramm huggingface-cli als Teil des cloud-init-Skripts installieren und zum Herunterladen von Open Weights-Modellen verwenden, die auf dem Hugging Face-Hub gehostet werden. Verwenden Sie das Flag --local-dir zum Herunterladen des Modells ohne symbolische Links, damit die pais-CLI das Modell verarbeiten kann.

Fügen Sie das Ausstellerzertifikat der Harbor-Registrierung zum Truststore für Zertifikate auf der Deep Learning-VM hinzu.
1. Fordern Sie das CA-Zertifikat beim Administrator der Harbor-Registrierung an.
2. Laden Sie das Zertifikat auf die virtuelle Maschine hoch, indem Sie beispielsweise einen SCP-Client (Secure Copy Protocol) auf Ihrer Workstation verwenden.
  Beispiel:
```
scp infra/my-harbor-issuing-ca.crt [email protected]:
```
3. Kopieren Sie das Zertifikat in das Verzeichnis /usr/local/share/ca-certificates und fügen Sie es zum Trust Store hinzu.
  Beispiel:
```
sudo cp my-harbor-issuing-ca.crt /usr/local/share/ca-certificates/
sudo update-ca-certificates
```
4. Starten Sie den Docker-Dienst zum Speichern der Änderungen neu.
```
sudo systemctl restart docker
```
Laden Sie das zu validierende Modell aus dem NVIDIA NGC-Katalog, aus Hugging Face oder einem anderen Modell-Hub auf die Deep Learning-VM herunter.
Führen Sie Laufzeittests als Sandbox in der Deep Learning-VM durch.
1. Validieren Sie die Integrität des Modells, indem Sie den Hash-Code der Modelldateien überprüfen.
2. Überprüfen Sie die Modelldateien auf Malware.
3. Überprüfen Sie das Modell auf Serialisierungsangriffe.
4. Überprüfen Sie mithilfe der Triton Inference Server-Instanz, ob die Inferenz erwartungsgemäß funktioniert.
  Weitere Informationen finden Sie unter Triton Inference Server.
5. Bewerten Sie die Leistung und Sicherheit des Modells für Ihren Geschäftsanwendungsfall.
  Beispielsweise können Sie Inferenzanforderungen auf böswilliges Verhalten untersuchen und praktische Funktionstests durchführen.
Melden Sie sich bei der Harbor-Registrierung an mithilfe von docker login an.
```
docker login -u my_harbor_user_name my-harbor-repo-mycompany.com
```
Übertragen Sie das Modell aus dem Verzeichnis mit den Modelldateien an das Harbor-Projekt für die Zielorganisation.
So laden Sie beispielsweise ein Modell vom Typ „bge-small-en-v1.5“ von der Beijing Academy of Artificial Intelligence (BAAI) in einen Store für KI-Anwendungsentwickler hoch:
```
cd ./baai/bge-small-en-v1.5
pais models push --modelName baai/bge-small-en-v1.5 --modelStore my-harbor-repo-mycompany.com/dev-models --tag approved
```
Durch erneute Übertragung an denselben modelName werden neue Revisionen des Modells erstellt, die Ihrem Wunsch entsprechend gekennzeichnet werden können. Jeder Revision wird zur Aufrechterhaltung der Integrität ein eindeutiger Digest zugewiesen.
Listen Sie die verfügbaren Modelle in der Modellgalerie auf und stellen Sie sicher, dass Ihr Modell hochgeladen wurde.
```
pais models list --modelStore my-harbor-repo-mycompany.com/dev-models
```

Nächste Maßnahme

Kopieren Sie unter Verwendung des Befehlszeilendienstprogramms pais in Deep Learning-VM-Instanzen Modelle zwischen Modellgalerien, um sie organisations- und funktionsbereichübergreifend zur Verfügung zu stellen.