Se l'amministratore del cloud ha configurato Private AI Automation Services in VMware Aria Automation, è possibile accedere ai carichi di lavoro di AI e richiederli utilizzando il catalogo di Automation Service Broker.

Nota: Questa documentazione si basa su VMware Aria Automation 8.18. Per informazioni sulle funzionalità di VMware Private AI Foundation in VMware Aria Automation 8.18.1, vedere la documentazione di VMware Private AI Foundation with NVIDIA.
I data scientist o i tecnici di DevOps possono richiedere i seguenti elementi del catalogo di Private AI Automation Services:
  • Workstation IA: una macchina virtuale abilitata per la GPU che può essere configurata con la vCPU, la vGPU e la memoria desiderate e la possibilità di preinstallare framework AI/ML come PyTorch, campioni CUDA e TensorFlow.
  • AI RAG Workstation: una macchina virtuale abilitata per la GPU con soluzione di riferimento Retrieval Augmented Generation (RAG).
  • Triton Inference Server: una macchina virtuale abilitata per GPU con NVIDIA Triton Inference Server.
  • AI Kubernetes Cluster: un cluster VMware Tanzu Kubernetes Grid con nodi worker con supporto GPU per eseguire carichi di lavoro nativi del cloud AI/ML.
  • AI Kubernetes RAG Cluster: un cluster VMware Tanzu Kubernetes Grid con nodi worker con supporto GPU per eseguire una soluzione RAG di riferimento.

Prima di iniziare

  • Verificare che l'amministratore del cloud abbia configurato Private AI Automation Services per il progetto.
  • Verificare di disporre delle autorizzazioni necessarie per richiedere elementi del catalogo IA.

Come accedere agli elementi del catalogo di Private AI Automation Services

In Automation Service Broker, aprire la scheda Utilizza, quindi fare clic su Catalogo. Gli elementi del catalogo sono disponibili per l'utente in base al progetto selezionato. Se non si seleziona un progetto, nel catalogo vengono visualizzati tutti gli elementi del catalogo che si è autorizzati a visualizzare.

Tenere presente che tutti i valori mostrati nelle procedure descritte in questa sezione sono esempi di casi d'uso. I valori dell'account variano in base all'ambiente in uso.

Come monitorare le distribuzioni Private AI

La pagina Distribuzioni in Automation Service Brokerconsente di gestire le distribuzioni e le risorse associate apportando modifiche alle distribuzioni, risolvendo i problemi relativi alle distribuzioni non riuscite, apportando modifiche alle risorse ed eliminando le distribuzioni inutilizzate.

Per gestire le distribuzioni, selezionare Utilizzo > Distribuzioni > Distribuzioni.

Per ulteriori informazioni, vedere Come si gestiscono le distribuzioni personali di Automation Service Broker.