Como começar com o Private AI Automation Services no VMware Aria Automation usando o Assistente de Configuração do Catálogo

Como administrador de nuvem, você pode utilizar sua pilha do VMware Cloud Foundation para gerenciar a infraestrutura habilitada para GPU e domínios de carga de trabalho de IA/ML. No VMware Aria Automation, você pode configurar e fornecer máquinas virtuais de aprendizado profundo habilitadas para GPU (DL VM) e clusters Tanzu Kubernetes Grid (TKG) como itens de catálogo que cientistas de dados e equipes de DevOps na sua organização podem solicitar no catálogo de autoatendimento do Automation Service Broker.

Observação: Esta documentação é baseada no VMware Aria Automation 8.18. Para obter informações sobre a funcionalidade do VMware Private AI Foundation no VMware Aria Automation 8.18.1, consulte Configurar o VMware Aria Automation para o VMware Private AI Foundation com NVIDIA, na documentação do VMware Private AI Foundation com NVIDIA.

O que é o VMware Private AI Foundation?

O VMware Private AI Foundation com o NVIDIA fornece uma plataforma para provisionamento de cargas de trabalho de IA no VMware Cloud Foundation com GPUs do NVIDIA. Além disso, executar cargas de trabalho de IA com base em contêineres do NVIDIA GPU Cloud (NGC ) são validados especificamente pela VMware by Broadcom. Para saber mais, consulte O que é o VMware Private AI Foundation with NVIDIA.

Private AI Automation Services é o nome coletivo para todos os recursos do VMware Private AI Foundation que estão disponíveis no VMware Aria Automation.

Para começar com o Private AI Automation Services, você executa o Assistente de Configuração do Catálogo no VMware Aria Automation. O assistente ajuda você a conectar o VMware Private AI Foundation ao VMware Aria Automation.

Como funciona o Assistente de Configuração de Catálogo?

Importante: O Assistente de Configuração de Catálogo não está habilitado por padrão. Entre em contato com a VMware by Broadcom Professional Services para ativar o assistente para a sua organização.

Usando o Assistente de Configuração de Catálogo, você executa as seguintes tarefas:

1. Adicionar uma conta de nuvem. Contas de nuvem são as credenciais usadas para coletar dados e implantar recursos na sua instância do vCenter.
2. Adicionar uma licença do NVIDIA.
3. Selecionar o conteúdo para adicionar ao catálogo do Automation Service Broker.
4. Criar um projeto. O projeto vincula seus usuários a regiões de contas de nuvem, para que eles possam implantar modelos de nuvem com redes e recursos de armazenamento na sua instância do vCenter.

Depois de executar o Assistente de configuração do catálogo pela primeira vez, serão criados no catálogo do Automation Service Broker os seguintes itens de catálogo, que se tornam disponíveis para os usuários na sua organização implantarem:

• Workstation de IA: uma máquina virtual habilitada para GPU que pode ser configurada com a opção desejada de vCPU, vGPU e memória e com a opção de pré-instalar frameworks de IA/ML como PyTorch, CUDA Samples e TensorFlow.
• Workstation de RAG de IA: uma máquina virtual habilitada para GPU com solução de referência Retrieval Augmented Generation (RAG).
• Servidor de Inferência Triton: uma máquina virtual habilitada para GPU com Triton Inference Server.
• Cluster do Kubernetes de IA: cluster do VMware Tanzu Kubernetes Grid com nós de trabalhador compatíveis com GPU para executar cargas de trabalho nativas da nuvem de IA/ML.
• Cluster de RAG do Kubernetes de IA: cluster do VMware Tanzu Kubernetes Grid com nós de trabalho compatíveis com GPU para executar uma solução de RAG de referência.

Você pode executar o assistente novamente várias vezes caso precise alterar alguma das configurações fornecidas, como fazer alterações no licenciamento, ou se quiser criar itens de catálogo de IA para outros projetos. Toda vez que você executa o assistente, cinco novos itens de catálogo são criados para você, além de quaisquer itens criados anteriormente.

Você pode modificar os modelos dos itens de catálogo que criados pelo assistente para atender às necessidades específicas da sua organização.

Antes de começar

• Verifique se você está executando o VMware Aria Automation 8.18.
• Verifique se você está executando o VMware Cloud Foundation 5.1.1 ou posterior, que inclui o vCenter 8.0 Atualização U2b ou posterior.
• Verifique se você tem uma conta de nuvem do vCenter no VMware Aria Automation.
• Verifique se você tem uma organização do NVIDIA GPU Cloud Enterprise com uma assinatura de serviço de nuvem premium.
• Verifique se você tem um cluster de Supervisor habilitado para GPU configurado por meio do gerenciamento de carga de trabalho.
• Configure o VMware Aria Automation para o VMware Private AI Foundation com o NVIDIA. Consulte Configurar o VMware Aria Automation para o VMware Private AI Foundation with NVIDIA.
• Conclua o início rápido do VMware Cloud Foundation antes de executar o Assistente de Instalação do Catálogo. Seus clusters de SDDC e Supervisor devem ser registrados no VMware Aria Automation. Consulte Como você começa a trabalhar com o VMware Aria Automation usando o Início Rápido do VMware Cloud Foundation.
• Verifique se você gerou o token de configuração do cliente do servidor de licenciamento do NVIDIA e se tem a chave de API do Portal do NGC do NVIDIA. A chave de acesso do portal do NGC do NVIDIA é usada para baixar e instalar drivers de vGPU.
• Configure o Single Sign-On (SSO) para a Interface de Consumo de Nuvem (CCI). Consulte Configurar o Single Sign-On para a CCI.
• Verifique se você está inscrito na biblioteca de conteúdo em https://packages.vmware.com/dl-vm/lib.json.

Procedimento

1. Depois de instalar o VMware Aria Automation e fazer login pela primeira vez, clique em Inicializar o Início Rápido .

   

2. No cartão Serviços Privados de Automação de IA, clique em Iniciar.
3. Selecione a conta de nuvem para provisionar o acesso.

   

   Lembre-se de que todos os valores aqui são exemplos de casos de uso. Os valores da sua conta dependem do seu ambiente.

   1. Selecione uma conta de nuvem do vCenter.
   2. Selecione um supervisor habilitado para GPU.
   3. Digite um nome de região.

      Uma região será selecionada automaticamente se o supervisor já estiver configurado com uma região.

      Se o supervisor não estiver associado a uma região, adicione uma nesta etapa. Considere o uso de um nome descritivo para a sua região que ajude seus usuários a distinguir regiões habilitadas para GPU de outras regiões disponíveis.

   4. Clique em Próxima Etapa.
4. Forneça informações sobre o seu servidor de licença do NVIDIA.

   

   1. Copie e cole o conteúdo do token de configuração do cliente do NVIDIA.

      O token de configuração do cliente é necessário para habilitar todos os recursos do driver vGPU.

   2. Selecione a localização dos drivers do vGPU do NVIDIA.
      • Nuvem – o driver vGPU do NVIDIA é hospedado no Portal de Licenciamento do NVIDIA.

        Você deve fornecer a chave de API do Portal de Licenciamento do NVIDIA, que é usada para avaliar se um usuário tem o direito de baixar os drivers do vGPU do NVIDIA. A chave de API deve ser um UUID.

        Observação: A chave de API gerada a partir do Portal de Licenciamento do NVIDIA não é a mesma que a Chave de API do NVAIE.
      • Local – o driver vGPU do NVIDIA é hospedado no local e é acessado a partir de uma rede privada.

        Você deve fornecer a localização dos drivers guest de vGPU para VMs.

        Para ambientes isolados, o driver vGPU deve estar disponível em sua rede privada ou centro de dados.

      Para obter mais informações, consulte Documentação do sistema de licenças da NVIDIA.
   3. Clique em Próxima Etapa.
5. Configure os itens de catálogo.

   

   1. Selecione a biblioteca de conteúdo que contém a imagem da VM de aprendizagem profunda.

      Você pode acessar apenas uma biblioteca de conteúdo por vez. Se a biblioteca de conteúdo contiver imagens do Kubernetes, essas imagens serão filtradas.

   2. Selecione a imagem da VM que você deseja usar para criar a VM da workstation.
   3. Selecione as classes de VM que você deseja disponibilizar para os usuários do catálogo.
      Você deve adicionar pelo menos uma classe compatível com GPU e uma classe não compatível com GPU.

      • As classes de VM ativadas para GPU são usadas para a VM de aprendizagem profunda e para os nós de trabalhador do cluster TKG. Quando o item de catálogo é implantado, o cluster do TKG é criado com as classes de VM selecionadas.
      • Nós não compatíveis com GPU são necessários para executar os planos de controle do Kubernetes.
   4. Selecione a política de armazenamento a ser aplicada às máquinas virtuais.
   5. Especifique o registro do contêiner no qual você deseja extrair os recursos de nuvem GPU do NVIDIA.
      • Nuvem – as imagens do contêiner são extraídas do catálogo NGC do NVIDIA.
      • Local – para ambientes isolados, os contêineres são extraídos de um registro privado.

        Você deve fornecer a localização do registro auto-hospedado. Se o registro exigir autenticação, você também deverá fornecer credenciais de login.

        Você pode usar o Harbor como um registro local para imagens de contêiner do catálogo NGC do NVIDIA. Consulte Configurar um registro privado do Harbor no VMware Private AI Foundation com a NVIDIA.

   6. (Opcional) Configurar um servidor proxy.

      Em ambientes sem acesso direto à Internet, o servidor proxy é usado para baixar o driver vGPU e extrair os contêineres que não são do Workstation de RAG de IA.

      Observação: O suporte para ambientes isolados está disponível para os itens de catálogo do Servidor do Workstation de IA e do Triton Inference Server. Os itens do Workstation de RAG de IA e do Cluster do Kubernetes de IA não oferecem suporte a ambientes isolados e precisam de conectividade com a Internet.
   7. Clique em Próxima Etapa.
6. Configure o acesso aos itens de catálogo criando um projeto e atribuindo usuários.

   

   Projetos são usados para gerenciar pessoas, recursos atribuídos, modelos de nuvem e implantações.

   1. Digite um nome e uma descrição para o projeto.

      O nome do projeto deve conter apenas caracteres alfanuméricos minúsculos ou hifens (-).

   2. Para disponibilizar os itens de catálogo para outras pessoas, adicione um Administrador e Membros.

      Administradores têm mais permissões do que membros. Para obter mais informações, consulte Quais são as funções de usuário do VMware Aria Automation.

   3. Clique em Próxima Etapa.
7. Verifique sua configuração na página Resumo.

   Considere salvar os detalhes da sua configuração antes de executar o assistente.

8. Clique em Executar o início rápido.

Resultados

Cinco itens de catálogo: Workstation de IA, Workstation de RAG de IA, Triton Inferencing Server, Cluster do Kubernetes de IA e Automation Service BrokerCluster de RAG do Kubernetes de IA são criados no catálogo de e os usuários da sua organização agora podem implantá-los.

O que fazer em seguida

• Verifique se os modelos estão disponíveis no catálogo para os membros dos projetos selecionados com os quais você compartilhou o conteúdo e monitore o processo de provisionamento para garantir uma implementação bem-sucedida. Consulte Como implantar itens de catálogo do PAIF.
• Se quiser controlar por quanto tempo uma implementação pode existir, crie um lease. Consulte Configurar políticas do Automation Service Broker.
• Para modificar entradas de usuários no momento da solicitação, você pode criar um formulário personalizado. Consulte Personalizar um ícone do Automation Service Broker e um formulário de solicitação.

Solução de problemas

• Se o Assistente de Instalação do Catálogo falhar, execute o assistente novamente para um projeto diferente.