Hoe gaat u aan de slag met Private AI Automation Services in VMware Aria Automation met behulp van de installatiewizard voor de catalogus

Als cloudbeheerder kunt u uw VMware Cloud Foundation-stack gebruiken om infrastructuur- en AI/ML-workloaddomeinen met GPU-functionaliteit te beheren. In VMware Aria Automation kunt u deeplearning-VM's (DL VM) met GPU-functionaliteit en Tanzu Kubernetes Grid-clusters (TKG) instellen en bieden als catalogusitems die technici en DevOps-teams in uw organisatie kunnen aanvragen in de selfservicecatalogus van Automation Service Broker.

Opmerking: Deze documentatie is gebaseerd op VMware Aria Automation 8.18. Zie VMware Aria Automation instellen voor VMware Private AI Foundation with NVIDIA in de documentatie voor VMware Private AI Foundation with NVIDIA voor informatie over de VMware Private AI Foundation-functionaliteit in VMware Aria Automation 8.18.1.

Wat is VMware Private AI Foundation?

VMware Private AI Foundation met NVIDIA biedt een platform voor het inrichten van AI-workloads in VMware Cloud Foundation met NVIDIA GPU's. Daarnaast wordt het uitvoeren van AI-workloads op basis van NVIDIA GPU Cloud-containers (NGC) specifiek gevalideerd door VMware by Broadcom. Zie Wat is VMware Private AI Foundation met NVIDIA voor meer informatie.

Private AI Automation Services is de verzamelnaam voor alle VMware Private AI Foundation-functies die beschikbaar zijn in VMware Aria Automation.

Om aan de slag te gaan met Private AI Automation Services, voert u de installatiewizard van de catalogus in VMware Aria Automation uit. De wizard helpt u bij het verbinden van VMware Private AI Foundation met VMware Aria Automation.

Hoe werkt de installatiewizard van de catalogus?

Belangrijk: De installatiewizard van de catalogus is niet standaard ingeschakeld. Neem contact op met VMware by Broadcom Professional Services om de wizard voor uw organisatie te activeren.

Met de installatiewizard van de catalogus voert u de volgende taken uit:

1. Voeg een cloudaccount toe. Cloudaccounts zijn de verificatiegegevens die worden gebruikt om gegevens te verzamelen van en bronnen te implementeren op uw vCenter-instantie.
2. Een NVIDIA-licentie toevoegen.
3. Selecteer de inhoud die u aan de Automation Service Broker-catalogus wilt toevoegen.
4. Maak een project. Het project koppelt uw gebruikers aan cloudaccountregio's, zodat zij cloudsjablonen met netwerken en opslagresources kunnen implementeren naar uw vCenter-instantie.

Nadat u de wizard Catalogus instellen voor de eerste keer hebt uitgevoerd, worden de volgende catalogusitems gemaakt in de Automation Service Broker-catalogus die gebruikers in uw organisatie kunnen implementeren:

• AI Workstation – een virtuele machine met GPU-functionaliteit die kan worden geconfigureerd met de gewenste vCPU, vGPU en geheugen en de optie om AI/ML-frameworks zoals PyTorch, CUDA Samples en TensorFlow vooraf te installeren.
• AI RAG Workstation – een virtuele machine met GPU-functionaliteit met een referentieoplossing voor RAG (Retrieval Augmented Generation).
• Triton Inference Server – een virtuele machine met GPU-functionaliteit met Triton Inference Server.
• AI Kubernetes Cluster – een VMware Tanzu Kubernetes Grid-cluster met werkerknooppunten die geschikt zijn voor GPU's om AI/ML cloudeigen workloads uit te voeren.
• AI Kubernetes RAG Cluster – een VMware Tanzu Kubernetes Grid-cluster met werkerknooppunten die geschikt zijn voor GPU's om een referentie-RAG-oplossing uit te voeren.

U kunt de wizard meerdere keren opnieuw uitvoeren als u de door u opgegeven instellingen moet wijzigen, zoals wijzigingen in licenties, of als u AI-catalogusitems voor andere projecten wilt maken. Elke keer dat u de wizard uitvoert, worden er vijf nieuwe catalogusitems voor u gemaakt, naast alle eerder gemaakte items.

U kunt de sjablonen voor de catalogusitems die de wizard heeft gemaakt aanpassen om tegemoet te komen aan de specifieke behoeften van uw organisatie.

Voordat u begint

• Controleer of VMware Aria Automation 8.18 wordt uitgevoerd.
• Controleer of VMware Cloud Foundation 5.1.1 of hoger wordt uitgevoerd, dat vCenter 8.0 update U2b of hoger bevat.
• Controleer of u een vCenter-cloudaccount in VMware Aria Automation heeft.
• Controleer of u een NVIDIA GPU Cloud Enterprise-organisatie met een premium cloudserviceabonnement heeft.
• Controleer of u een geconfigureerd supervisorcluster met GPU-functionaliteit heeft via workloadbeheer.
• Configureer VMware Aria Automation voor VMware Private AI Foundation met NVIDIA. Zie VMware Aria Automation voor VMware Private AI Foundation instellen met NVIDIA.
• Voltooi de Snelstart VMware Cloud Foundation voordat u de installatiewizard van de catalogus uitvoert. Uw SDDC- en supervisorclusters moeten worden geregistreerd bij VMware Aria Automation. Zie Hoe kunt u aan de slag met VMware Aria Automation met behulp van VMware Cloud Foundation Snelstart.
• Controleer of u het clientconfiguratietoken hebt gegenereerd van de NVIDIA-licentieserver en of u over de API-sleutel van NVIDIA NGC Portal beschikt. De toegangssleutel voor de NVIDIA NGC-portal wordt gebruikt om vGPU-stuurprogramma's te downloaden en te installeren.
• Configureer Single Sign-On (SSO) voor de Cloud Consumption Interface (CCI). Zie Single Sign-On voor CCI instellen.
• Controleer of u bent geabonneerd op de inhoudsbibliotheek op https://packages.vmware.com/dl-vm/lib.json.

Procedure

1. Wanneer u zich na het installeren van VMware Aria Automation voor het eerst aanmeldt, klikt u op Start Snelstart.

   

2. Klik op Starten op de kaart Particuliere AI-automatiseringsservices.
3. Selecteer het cloudaccount waartoe u toegang wilt inrichten.

   

   Vergeet niet dat alle waarden hier voorbeelden zijn voor gebruiksscenario's. Uw accountwaarden zijn afhankelijk van uw omgeving.

   1. Selecteer een vCenter-cloudaccount.
   2. Selecteer een supervisor met GPU-functionaliteit.
   3. Voer een regionaam in.

      Een regio wordt automatisch geselecteerd als de supervisor al met een regio is geconfigureerd.

      Als de supervisor niet is gekoppeld aan een regio, voegt u er in deze stap een toe. Overweeg een beschrijvende naam voor uw regio te gebruiken die uw gebruikers helpt om regio's met GPU-functionaliteit te onderscheiden van andere beschikbare regio's.

   4. Klik op Volgende stap.
4. Geef de informatie op over uw NVIDIA-licentieserver.

   

   1. Kopieer en plak de inhoud van het NVIDIA-clientconfiguratietoken.

      Het clientconfiguratietoken is nodig om de volledige mogelijkheden van het vGPU-stuurprogramma in te schakelen.

   2. Selecteer de locatie van de NVIDIA vGPU-stuurprogramma's.
      • Cloud – het NVIDIA vGPU-stuurprogramma wordt gehost op het NVIDIA-licentieportaal.

        U moet de API-sleutel van het NVIDIA-licentieportaal opgeven, die wordt gebruikt om te evalueren of een gebruiker het juiste recht heeft om de NVIDIA vGPU-stuurprogramma's te downloaden. De API-sleutel moet een UUID zijn.

        Opmerking: De API-sleutel die u genereert vanuit de NVIDIA-licentieportal, is niet hetzelfde als de NVAIE API-sleutel.
      • Lokaal – het NVIDIA vGPU-stuurprogramma wordt op locatie gehost en wordt geopend via een privénetwerk.

        U moet de locatie van de vGPU-gaststuurprogramma's voor VM's opgeven.

        Voor omgevingen met luchtmuur moet het vGPU-stuurprogramma beschikbaar zijn in uw privénetwerk of datacentrum.

      Zie documentatie voor NVIDIA License System voor meer informatie.
   3. Klik op Volgende stap.
5. De catalogusitems configureren.

   

   1. Selecteer de inhoudsbibliotheek die de VM-image met deep learning bevat.

      U kunt slechts één inhoudsbibliotheek tegelijk openen. Als de inhoudsbibliotheek Kubernetes-images bevat, worden deze images gefilterd.

   2. Selecteer de VM-image die u wilt gebruiken om de workstation-VM te maken.
   3. Selecteer de VM-klassen die u beschikbaar wilt maken voor gebruikers van de catalogus.
      U moet ten minste één klasse toevoegen die geschikt is voor GPU's en één klasse die niet geschikt is voor GPU's.

      • VM-klassen met GPU-functionaliteit worden gebruikt voor de VM met deep learning en voor de werkerknooppunten van het TKG-cluster. Wanneer het catalogusitem wordt geïmplementeerd, wordt het TKG-cluster gemaakt met de geselecteerde VM-klassen.
      • Knooppunten die niet geschikt zijn voor GPU's zijn vereist om de Kubernetes-control planes uit te voeren.
   4. Selecteer het opslagbeleid dat op de virtual machines moet worden toegepast.
   5. Geef het containerregister op waar u NVIDIA GPU-cloudresources wilt ophalen.
      • Cloud – de containerimages worden opgehaald uit de NVIDIA NGC-catalogus.
      • Lokaal – Voor omgevingen met luchtmuur worden de containers uit een privéregister gehaald.

        U moet de locatie van het zelfgehoste register opgeven. Als het register verificatie vereist, moet u ook verificatiegegevens opgeven.

        U kunt Harbor gebruiken als lokaal register voor containerimages van de NVIDIA NGC-catalogus. Zie Een privé Harbor-register instellen in VMware Private AI Foundation met NVIDIA.

   6. (Optioneel) Configureer een proxyserver.

      In omgevingen zonder directe internettoegang wordt de proxyserver gebruikt om het vGPU-stuurprogramma te downloaden en de niet-RAG AI-Workstation-containers op te halen.

      Opmerking: Ondersteuning voor omgevingen met luchtmuur is beschikbaar voor de catalogusitems AI Workstation en Triton Inference Server. De items AI RAG Workstation en AI Kubernetes Cluster ondersteunen geen omgevingen met luchtmuur en hebben een internetverbinding nodig.
   7. Klik op Volgende stap.
6. Configureer de toegang tot de catalogusitems door een project te maken en gebruikers toe te wijzen.

   

   Projecten worden gebruikt om mensen, toegewezen resources, cloudsjablonen en implementaties te beheren.

   1. Voer een naam en beschrijving in voor het project.

      De projectnaam mag alleen kleine alfanumerieke tekens of streepjes bevatten (-).

   2. Als u de catalogusitems beschikbaar wilt maken voor anderen, voegt u een Beheerder en Leden toe.

      Beheerders hebben meer rechten dan leden. Zie Wat zijn de VMware Aria Automation-gebruikersrollen voor meer informatie.

   3. Klik op Volgende stap.
7. Controleer uw configuratie op de pagina Samenvatting.

   Overweeg om de details voor uw configuratie op te slaan voordat u de wizard uitvoert.

8. Klik op Snelstart uitvoeren.

Resultaten

Vijf catalogusitems – AI Workstation, AI RAG Workstation, Triton Inferencing Server, AI Kubernetes Cluster en Automation Service BrokerAI Kubernetes RAG-cluster, worden gemaakt in de -catalogus en gebruikers in uw organisatie kunnen deze nu implementeren.

Wat moet u nu doen

• Controleer of de sjablonen in de catalogus beschikbaar zijn voor de leden van de geselecteerde projecten met wie u de inhoud heeft gedeeld en controleer het inrichtingsproces om voor een succesvolle implementatie te zorgen. Zie Hoe implementeer ik PAIF-catalogusitems.
• Als u wilt instellen hoe lang een implementatie kan bestaan, maakt u een lease. Zie Beleidsregels voor Automation Service Broker instellen.
• Om gebruikersinvoer te wijzigen bij het maken van de aanvraag, kunt u een aangepast formulier maken. Zie Een Automation Service Broker-pictogram en -aanvraagformulier aanpassen.

Problemen oplossen

• Als de installatiewizard van de catalogus mislukt, voert u de wizard opnieuw uit voor een ander project.