A partire da VMware Private AI Foundation with NVIDIA per VMware Cloud Foundation 5.2.1, in qualità di tecnico MLOps è possibile distribuire modelli ML tra istanze di Deep Learning VM e cluster TKG utilizzando un registro di container Harbor centrale.

L'utilizzo di una raccolta centralizzata per i modelli ML offre i vantaggi seguenti:

  • Distribuire all'interno dell'organizzazione i modelli convalidati in Deep Learning VM. I modelli su Internet potrebbero contenere codice dannoso o essere stati manipolati per ottenere un comportamento dannoso.
  • Distribuire modelli per la distribuzione continua tra le organizzazioni o per promuoverla tra piattaforme o ambienti.
  • Mantenere l'integrità del modello nell'ambiente controllato.
  • Utilizzando le funzionalità di accesso al progetto Harbor, è possibile limitare l'accesso ai dati sensibili utilizzati per addestrare e ottimizzare un modello.
  • Archiviare i metadati nel formato Open Container Initiative (OCI) che descrive i contenuti e le dipendenze dei modelli ML. In questo modo, è possibile identificare le piattaforme che possono eseguire un modello di destinazione.

È possibile utilizzare Harbor per archiviare i modelli del catalogo di NVIDIA NGC, di Hugging Face e di un altro catalogo di modelli ML.

Che cos'è una raccolta di modelli?

Una raccolta di modelli in VMware Private AI Foundation with NVIDIA è un progetto Harbor con la configurazione seguente:

Tabella 1. Raccolta di modelli ML in Harbor
Entità raccolta di modelli Entità Harbor o OCI Requisiti
Raccolta di modelli Progetto con accesso utente configurato Deve avere un nome univoco nel registro Habor.
Modello Repository OCI Deve avere un nome univoco nel progetto in base al formato OCI.
Revisione Artefatto OCI Manifesto non modificabile identificato dal digest del contenuto.

Se si esegue il push degli stessi dati del modello più volte, viene archiviata una sola revisione. Se i dati del modello cambiano, ogni operazione push crea una nuova revisione.

È possibile contrassegnare una revisione del modello. A differenza di un ecosistema di container, anche se è supportato, il tag latest non è l'opzione predefinita quando si esegue il pull di un modello.
File Livello OCI e blob -

Ad esempio, Harbor utilizza il formato seguente per una revisione del modello Llama di esempio:



Push e pull di modelli da una raccolta di modelli

In VMware Private AI Foundation with NVIDIA, è possibile utilizzare Deep Learning VM per convalidare e ottimizzare i modelli scaricati da un registro di container pubblico o da un registro di container nell'organizzazione. Usare quindi l'utilità della riga di comando pais nella macchina virtuale per eseguire il push e il pull dei modelli da e tra le raccolte di modelli in Harbor.