MLOps エンジニアである場合は、組織のセキュリティ、プライバシー、および技術要件に対してオンボーディングされた ML モデルを検証します。その後、モデルを専用のモデル ギャラリーにアップロードして、AI アプリケーション開発者または MLOps エンジニアがモデル ランタイムの自動 CI/CD ベースの展開に使用できます。
手順
- Triton Inference Server を備えたディープ ラーニング仮想マシンを展開し、vmware として SSH 接続を開きます。
次のワークフローのいずれかを使用できます。MLOps エンジニアである場合は、VMware Aria Automation からデータベースを直接展開できます。展開できない場合は、クラウド管理者または DevOps エンジニアに仮想マシンの展開をリクエストします。
展開のワークフロー 必要なユーザー ロール 説明 VMware Aria Automation のセルフサービス カタログ アイテムを使用して展開する MLOps エンジニア VMware Aria Automation のセルフサービス カタログ アイテムを使用して、NVIDIA Triton Inference Server を備えたディープ ラーニング仮想マシンを展開するを参照してください。 vSphere クラスタに直接展開します。 クラウド管理者 VMware Private AI Foundation with NVIDIA の vSphere クラスタにディープ ラーニング仮想マシンを直接展開するを参照してください。 kubectlコマンドを使用して展開します。DevOps エンジニア kubectl コマンドを使用して VMware Private AI Foundation with NVIDIA でディープ ラーニング仮想マシンを展開するを参照してください。 モデルが Hugging Face でホストされている場合は、cloud-init スクリプトの一部として huggingface-cli コマンド ユーティリティをインストールし、それを使用して、Hugging Face Hub でホストされているオープンウェイト モデルをダウンロードできます。--local-dirフラグを使用してシンボリック リンクなしでモデルをダウンロードし、 pais CLI がモデルを処理できるようにします。 - Harbor レジストリの発行者証明書を、ディープ ラーニング仮想マシンの証明書トラスト ストアに追加します。
- Harbor レジストリ管理者に CA 証明書をリクエストします。
- 証明書を仮想マシンにアップロードします。たとえば、ワークステーションでセキュア コピー プロトコル (scp) クライアントを使用します。
例：
scp infra/my-harbor-issuing-ca.crt [email protected]:
- 証明書を /usr/local/share/ca-certificates ディレクトリにコピーし、トラスト ストアに追加します。
例：
sudo cp my-harbor-issuing-ca.crt /usr/local/share/ca-certificates/ sudo update-ca-certificates
- 変更を保存するには、Docker サービスを再起動します。
sudo systemctl restart docker
- NVIDIA NGC カタログ、Hugging Face、または別のモデル ハブから、検証するモデルをディープ ラーニング仮想マシンにダウンロードします。
- ディープ ラーニング仮想マシンで、サンドボックスとしてランタイム テストを実行します。
- モデル ファイルのハッシュ コードを確認して、モデルの整合性を検証します。
- モデル ファイルをスキャンして、マルウェアを検出します。
- モデルをスキャンして、シリアライズ攻撃を検出します。
- Triton Inference Server を使用して、推論が期待どおりに動作することを検証します。
Triton Inference Serverを参照してください。
- ビジネスの使用事例に対するモデルのパフォーマンスと安全性を評価します。
たとえば、悪意のある動作の推論リクエストを調べ、ハンズオン機能テストを実行できます。
- docker login を使用して Harbor レジストリにログインします。
docker login -u my_harbor_user_name my-harbor-repo-mycompany.com
- モデル ファイルを含むディレクトリから、ターゲット組織の Harbor プロジェクトにモデルをプッシュします。
たとえば、Beijing Academy of Artificial Intelligence (BAAI) から AI アプリケーション開発者向けのストアに bge-small-en-v1.5 モデルをアップロードするには、次の手順を実行します。
cd ./baai/bge-small-en-v1.5 pais models push --modelName baai/bge-small-en-v1.5 --modelStore my-harbor-repo-mycompany.com/dev-models --tag approved
同じ modelName に再度プッシュすると、モデルの新しいリビジョンが作成され、ユーザーの好みに応じてタグ付けできます。各リビジョンには、整合性を維持するための一意のダイジェストが割り当てられます。
- モデル ギャラリーで使用可能なモデルを一覧表示し、モデルがアップロードされたかどうかを確認します。
pais models list --modelStore my-harbor-repo-mycompany.com/dev-models
