Se o seu administrador de nuvem tiver configurado o Private AI Automation Services no VMware Aria Automation, você poderá acessar e solicitar fluxos de trabalho de IA usando o catálogo do Automation Service Broker.

Observação: Esta documentação é baseada no VMware Aria Automation 8.18. Para obter informações sobre a funcionalidade do VMware Private AI Foundation no VMware Aria Automation 8.18.1, consulte a documentação do VMware Private AI Foundation com NVIDIA.
Como cientista de dados ou engenheiro de DevOps, você pode solicitar os seguintes itens de catálogo do Private AI Automation Services:
  • Workstation de IA: uma máquina virtual habilitada para GPU que pode ser configurada com a opção desejada de vCPU, vGPU e memória e com a opção de pré-instalar frameworks de IA/ML como PyTorch, CUDA Samples e TensorFlow.
  • Workstation de RAG de IA: uma máquina virtual habilitada para GPU com solução de referência Retrieval Augmented Generation (RAG).
  • Servidor de Inferência Triton: uma máquina virtual habilitada para GPU com o NVIDIA Triton Inference Server.
  • Cluster do Kubernetes de IA: cluster do VMware Tanzu Kubernetes Grid com nós de trabalhador compatíveis com GPU para executar cargas de trabalho nativas da nuvem de IA/ML.
  • Cluster de RAG do Kubernetes de IA: cluster do VMware Tanzu Kubernetes Grid com nós de trabalho compatíveis com GPU para executar uma solução de RAG de referência.

Antes de começar

  • Verifique se o administrador da nuvem configurou o Private AI Automation Services para o seu projeto.
  • Verifique se você tem permissões para solicitar itens de catálogo de IA.

Como acessar os itens de catálogo do Private AI Automation Services

No Automation Service Broker, abra a guia Consumir e clique em Catálogo. Os itens de catálogo disponíveis para você são baseados no projeto selecionado. Se você não tiver selecionado um projeto, todos os itens de catálogo que estão disponíveis para você aparecerão no catálogo.

Lembre-se de que todos os valores mostrados nos procedimentos descritos nesta seção são exemplos de caso de uso. Os valores da sua conta dependem do seu ambiente.

Como monitorar minhas implantações de IA privada

Você usa a página Implantações no Automation Service Broker para gerenciar suas implantações e os recursos associados, fazendo alterações nas implantações, solucionando problemas de implantações com falha, fazendo alterações nos recursos e destruindo implantações não utilizadas.

Para gerenciar suas implantações, selecione Consumir > Implantações > Implantações.

Para obter mais informações, consulte Como gerenciar minhas implantações do Automation Service Broker.