ESXi での NVMe over RDMA (RoCE v2) の構成

ESXi ホストのアダプタ構成プロセスでは、RDMA ネットワーク アダプタの VMkernel バインドを設定してから、ソフトウェア NVMe over RDMA アダプタを追加します。その後、NVMe コントローラを追加できます。

構成プロセス全体で、次のアクションを実行します。

アクション	説明
RDMA ネットワーク アダプタの表示	ESXi ホストで、RDMA (RoCE v2) をサポートするネットワーク アダプタをインストールします。例：Mellanox Technologies MT27700 Family ConnectX-4。 ネットワーク アダプタをインストールしたら、vSphere Client を使用して RDMA アダプタと物理ネットワーク アダプタを確認します。
RDMA アダプタの VMkernel バインドの構成	NVMe over RDMA でのポートのバインドを行うには、スイッチを作成し、物理ネットワーク アダプタと VMkernel アダプタをスイッチに接続する必要があります。この接続を介して、RDMA アダプタが VMkernel アダプタにバインドされます。この構成では、vSphere 標準スイッチまたは vSphere Distributed Switch を使用できます。
ソフトウェア NVMe over RDMA アダプタの追加	vSphere Client を使用して、NVMe over RDMA のソフトウェア ストレージ アダプタを有効にします。
NVMe over Fabrics のコントローラの追加	NVMe コントローラを追加するには、vSphere Client を使用します。コントローラを追加すると、コントローラに関連付けられている NVMe 名前空間を ESXi ホストで使用できるようになります。ESXi 環境内の名前空間を表す NVMe ストレージ デバイスが、ストレージ デバイス リストに表示されます。

次のビデオでは、NVMe over RDMA アダプタを設定する手順について説明します。

RDMA ネットワーク アダプタの表示

RDMA (RoCE v2) をサポートするネットワーク アダプタを ESXi ホストにインストールした後、vSphere Client を使用して RDMA アダプタと物理ネットワーク アダプタを確認します。

手順

1. ESXi ホストで、RDMA (RoCE v2) をサポートするアダプタ（Mellanox Technologies MT27700 Family ConnectX-4 など）をインストールします。
   ホストはアダプタを検出し、 vSphere Client は 2 つのコンポーネント（RDMA アダプタと物理ネットワーク アダプタ）を表示します。
2. vSphere Client で、RDMA アダプタがホストによって検出されていることを確認します。
   1. ホストに移動します。
   2. [設定] タブをクリックします。
   3. [ネットワーク] で、[RDMA アダプタ] をクリックします。
      この例では、RDMA アダプタは vmrdma0 としてリストに表示されます。 [ペアリングされたアップリンク] 列には、ネットワーク コンポーネントが vmnic1 物理ネットワーク アダプタとして表示されます。

      

   4. アダプタの説明を確認するには、リストから RDMA アダプタを選択し、[プロパティ] タブをクリックします。

RDMA アダプタの VMkernel バインドの構成

NVMe over RDMA でのポートのバインドを行うには、スイッチを作成し、物理ネットワーク アダプタと VMkernel アダプタをスイッチに接続する必要があります。この接続を介して、RDMA アダプタが VMkernel アダプタにバインドされます。この構成では、vSphere 標準スイッチまたは vSphere Distributed Switch を使用できます。

次の図は、NVMe over RDMA アダプタのポート バインドを示しています。

スイッチの作成に関する詳細については、ドキュメント『vSphere のネットワーク』の「vSphere 標準スイッチの作成」または「vSphere Distributed Switch の作成」を参照してください。

NVMe over RDMA を使用したネットワーク トポロジの例

この例では、2 台の vSphere 標準スイッチと 2 つのアップリンク（RDMA 対応 NIC）によって、高可用性を実現しています。これらは、2 つのサブネット内の 2 つのコントローラ ペアに接続されています。

複数の vSwitch と複数のアップリンク (RNIC) による高可用性

vSphere 標準スイッチを使用した VMkernel バインドの構成

vSphere 標準スイッチとスイッチごとに 1 つのアップリンクを使用して、RDMA アダプタの VMkernel ポート バインドを構成できます。ネットワーク接続の構成には、各物理ネットワーク アダプタへの仮想 VMkernel アダプタの作成が含まれます。各仮想および物理ネットワーク アダプタ間で 1:1 のマッピングを使用します。

手順

1. VMkernel アダプタとネットワーク コンポーネントを使用して vSphere 標準スイッチを作成します。
   1. vSphere Client で、ホストを選択し、[ネットワーク] タブをクリックします。
   2. [アクション] > [ネットワークの追加] の順にクリックします。
   3. [VMkernel ネットワーク アダプタ] を選択し、[次へ] をクリックします。
   4. [新しい標準スイッチ] を選択し、[次へ] をクリックします。
   5. [割り当てられたアダプタ] で、[+] をクリックします。
      使用可能な物理アダプタのリストが表示されます。
   6. 必要な物理アダプタ vmnic を選択し、[OK] をクリックします。
      注： RDMA アダプタに対応する物理ネットワーク アダプタを選択します。RDMA アダプタ vmrdma と物理ネットワーク アダプタ vmnic との間の関連付けを確認するには、 RDMA ネットワーク アダプタの表示を参照してください。
   7. [VMkernel ポート設定] で、必要な値を入力します。
      ストレージ パスに VLAN を使用している場合は、VLAN ID を入力します。
   8. [IP 設定] リストで、VMkernel IPv4 設定を入力します。
   9. [使用可能なサービス] で [NVMe over RDMA] を選択します。
2. スイッチが正しく構成されていることを確認します。
   1. [構成] タブの [ネットワーク] の下で、[仮想スイッチ] を選択します。
   2. スイッチを展開し、構成を確認します。

      次の図は、物理ネットワーク アダプタと VMkernel アダプタが vSphere 標準スイッチに接続されていることを示しています。この接続を介して、RDMA アダプタが VMkernel アダプタにバインドされます。

      

3. RDMA アダプタの VMkernel バインドの構成を確認します。
   1. [ネットワーク] リストで [RDMA アダプタ] をクリックし、リストから RDMA アダプタを選択します。
   2. [VMkernel アダプタのバインド] タブをクリックして、関連する VMkernel アダプタがページに表示されることを確認します。
      この例では、 vmrdma0 RDMA アダプタは vmnic1 ネットワーク アダプタとペアになっており、 vmk1 VMkernel アダプタに接続されています。

      

vSphere 標準スイッチと NIC チーミングを使用した VMkernel バインドの構成

vSphere 標準スイッチを NIC チーミング構成と共に使用して、RDMA アダプタの VMkernel ポート バインドを構成できます。NIC チーミングを使用すると、ネットワークの冗長性を実現できます。2 つ以上のネットワーク アダプタ (NIC) をチームとして構成し、高可用性とロード バランシングに使用します。

手順

1. VMkernel アダプタとネットワーク コンポーネントを NIC チーミング構成と共に使用して vSphere 標準スイッチを作成します。
   1. vSphere Client で、ホストを選択し、[ネットワーク] タブをクリックします。
   2. [アクション] > [ネットワークの追加] の順にクリックします。
   3. [VMkernel ネットワーク アダプタ] を選択し、[次へ] をクリックします。
   4. [新しい標準スイッチ] を選択し、[次へ] をクリックします。
   5. [割り当てられたアダプタ] で、[+] をクリックします。
      使用可能な物理アダプタのリストが表示されます。
   6. 必要な物理アダプタ vmnic を選択し、[有効なアダプタ] に追加します。
   7. 別の物理アダプタ vmnic を選択し、[未使用アダプタ] に追加します。
   8. [VMkernel ポート設定] で、必要な値を入力します。
      ストレージ パスに VLAN を使用している場合は、VLAN ID を入力します。
   9. [IP 設定] リストで、VMkernel IPv4 設定を指定します。
   10. [使用可能なサービス] で [NVMe over RDMA] を選択します。
   手順 1 を繰り返して、既存の標準スイッチを構成します。
2. スイッチを NIC チーミング向けに構成します。
   1. [構成] タブをクリックし、[ネットワーク] の下で [仮想スイッチ] を選択します。
   2. 適切な VMkernel アダプタを選択します。
   3. 右クリックし、コンテキスト メニューで [設定の編集] をクリックします。
   4. [チーミングおよびフェイルオーバー] を選択します。
   5. [有効なアダプタ] に、必要な物理アダプタ vmnic を移動します。
   6. [スタンバイ アダプタ] > [フェイルオーバーの順序] に、他の物理アダプタを移動します。
   7. 適切なロード バランシングと他のプロパティを設定します。
   8. この手順を繰り返して、追加の VMkernel アダプタを設定します。
3. 手順 1 と 2 を繰り返して、チーミングされる rnic の追加セットを追加して構成します。アダプタが構成されているかどうかを確認するには、[構成] タブをクリックし、[VMkernel アダプタ] を選択します。

vSphere Distributed Switch を使用した VMkernel バインドの構成

vSphere Distributed Switch とスイッチごとに 1 つのアップリンクを使用して、RDMA アダプタの VMkernel ポート バインドを構成できます。ネットワーク接続の構成には、各物理ネットワーク アダプタへの仮想 VMkernel アダプタの作成が含まれます。各仮想および物理ネットワーク アダプタ間で 1:1 のマッピングを使用します。

手順

1. VMkernel アダプタとネットワーク コンポーネントを使用して vSphere Distributed Switch を作成します。
   1. vSphere Client で [データセンター] を選択し、[ネットワーク] タブをクリックします。
   2. [アクション] をクリックし、[Distributed Switch] > [新しい Distributed Switch] の順に選択します。
   3. スイッチの名前を選択します。
      データセンターの場所がホスト内にあることを確認して、 [次へ] をクリックします。
   4. 互換性のある ESXi バージョンを選択して、[次へ] をクリックします。
   5. 必要なアップリンク数を入力し、[終了] をクリックします。
2. 1 台以上のホストを Distributed Switch に追加します。
   1. vSphere Client で [データセンター] を選択し、[Distributed Switch] をクリックします。
      使用可能な DSwitch のリストが表示されます。
   2. DSwitch を右クリックし、メニューから [ホストの追加と管理] を選択します。
   3. [ホストの追加] を選択し、[次へ] をクリックします。
   4. ホストを選択して、[次へ] をクリックします。
   5. [アップリンクの割り当て] を選択します。
   6. vmnic に割り当てる適切なアップリンクを入力します。
   7. VMkernel アダプタを割り当てて、[次へ] をクリックします。
   8. vSphere Client で DSwitch を選択し、[ポート] タブをクリックします。
      ここで、スイッチに対して作成されたアップリンクを確認できます。
3. NVMe over RDMA ストレージ パス用に分散ポート グループを作成します。
   1. vSphere Client で、必要な DSwitch を選択します。
   2. [アクション] をクリックし、[分散ポート グループ] > [新しい分散ポート グループ] の順に選択します。
   3. [設定] で、ポート グループの全般プロパティを入力します。
      特定の VLAN を構成済みの場合は、それを VLAN ID に追加します。
      注： VLAN を適切に構成しないと、ネットワーク接続の問題が発生する可能性があります。
4. VMkernel アダプタを構成します。
   1. vSphere Client で、[DSwitch] リストを展開し、分散ポート グループを選択します。
   2. [アクション] > [VMkernel アダプタの追加] の順にクリックします。
   3. [メンバー ホストの選択] ダイアログ ボックスで、ホストを選択し、[OK] をクリックします。
   4. [VMkernel アダプタの設定] ダイアログ ボックスで、MTU がスイッチの MTU と一致していることを確認します。
   5. 適切にタグ付けするには、[使用可能なサービス] で [NVMe over RDMA] を選択します。
   6. [終了] をクリックします。
   7. RDMA 対応の複数の NIC を追加するには、手順 b と手順 c を繰り返します。
5. 分散ポート グループの NIC チーミング ポリシーを設定します。
   1. [分散ポート グループ] で、[アクション] > [設定の編集] の順にクリックします。
   2. [チーミングおよびフェイルオーバー] をクリックし、アクティブなアップリンクを確認します。
   3. 1 つのアップリンクを [アクティブ] としてポート グループに割り当て、他のアップリンクを [未使用] として割り当てます。
      作成された各ポート グループについて、手順 c を繰り返します。

次のタスク

構成が完了したら、 [構成] をクリックし、選択されている NIC の DVSwitch がホストの物理アダプタ タブに表示されているかどうかを確認します。

ソフトウェア NVMe over RDMA または NVMe over TCP アダプタの追加

ESXi では、NVMe over RDMA および NVMe over TCP ソフトウェア アダプタがサポートされています。NVMe over RDMA または NVMe over TCP のソフトウェア ストレージ アダプタを追加するには、vSphere Client を使用します。

前提条件

• ESXi ホストに、次のタイプのストレージをサポートするアダプタをインストールします。
  • NVMe over RDMA アダプタ。例：Mellanox Technologies MT27700 Family ConnectX-4。
  • NVMe over TCP アダプタ。例：i40en。
• アダプタの VMkernel バインドを構成します。
  • NVMe over RDMA の場合は、RDMA アダプタの VMkernel バインドの構成を参照してください。
  • NVMe over TCP の場合は、NVMe over TCP アダプタの VMkernel バインドの構成を参照してください。

手順

1. vSphere Client で、ESXi ホストに移動します。
2. [設定] タブをクリックします。
3. [ストレージ] で、[ストレージ アダプタ]、[ソフトウェア アダプタの追加] アイコンの順にクリックします。
4. 必要なアダプタ タイプを選択します。
   • [NVMe over RDMA アダプタ]
   • [NVMe over TCP アダプタ]
5. 手順 4 での選択に応じて、ドロップダウン メニューから適切な RDMA アダプタまたは TCP ネットワーク アダプタ (vmnic) を選択します。
   注： ソフトウェア アダプタを作成できないことを示すエラー メッセージが表示される場合は、アダプタの VMkernel バインドが正しく構成されていることを確認します。詳細については、『 RDMA アダプタの VMkernel バインドの構成』および『 NVMe over TCP アダプタの VMkernel バインドの構成』を参照してください。

結果

ソフトウェア NVMe over RDMA アダプタおよび NVMe over TCP アダプタが vmhba ストレージ アダプタとしてリストに表示されます。他の目的で、基盤となる RDMA および TCP ネットワーク アダプタを解放する必要がある場合は、アダプタを削除できます。 ESXi ホストからのソフトウェア NVMe アダプタの削除を参照してください。

NVMe over Fabrics のコントローラの追加

NVMe コントローラを追加するには、vSphere Client を使用します。コントローラを追加すると、コントローラに関連付けられている NVMe 名前空間を ESXi ホストで使用できるようになります。ESXi 環境内の名前空間を表す NVMe ストレージ デバイスが、ストレージ デバイス リストに表示されます。

前提条件

• 使用しているストレージのタイプに適したアダプタが ESXi ホストにあることを確認してください。VMware NVMe ストレージの要件を参照してください。
• NVMe over RDMA (RoCE v2) ストレージを使用する場合は、次のタスクを実行します。
  • RDMA アダプタの VMkernel バインドの構成
  • ソフトウェア NVMe over RDMA アダプタの追加
• NVMe over TCP ストレージを使用する場合は、次のタスクを実行します。
  • NVMe over TCP アダプタの VMkernel バインドの構成
  • ソフトウェア NVMe over TCP アダプタの追加

注： NVMe over Fibre Channel を使用すると、必要なアダプタをインストールした後、その時点で到達可能なすべてのターゲットへの接続が自動的に行われます。後でアダプタを再設定し、コントローラの切断や、ホストの起動時には使用できなかった他のコントローラの接続を行うことができます。

手順

1. vSphere Client で、ESXi ホストに移動します。
2. [設定] タブをクリックします。
3. [ストレージ] で、[ストレージ アダプタ] をクリックし、設定するアダプタ (vmhba#) を選択します。
4. [コントローラ] タブをクリックして、[コントローラの追加] をクリックします。
5. [コントローラの追加] ダイアログ ボックスで、次のいずれかの検出方法を選択します。

   オプション	説明
   自動	このオプションは、ホストがコントローラを自動的に検出し、使用可能なコントローラへの接続を許可することを示します。 コントローラを検出するための次のパラメータを指定します。 NVMe over RDMA (RoCE v2) の場合は、IP アドレスと転送ポート番号。 NVMe over TCP の場合は、IP アドレス、転送ポート番号、ダイジェスト パラメータ。 [コントローラの検出] をクリックします。 コントローラのリストから、使用するコントローラを選択します。
   手動	この方法では、コントローラの詳細を手動で入力します。ホストは、指定されたパラメータを使用して特定のコントローラへの接続を要求します。 サブシステム NQN ターゲット ポートの ID。 NVMe over RDMA (RoCE v2) の場合は、IP アドレスと転送ポート番号（オプション）。 NVMe over TCP の場合は、IP アドレス、転送ポート番号（オプション）、ダイジェスト パラメータ（オプション）。 NVMe over Fibre Channel の場合は、WorldWideNodeName および WorldWidePortName。 管理キューのサイズ。コントローラの管理キューのサイズを指定するオプションのパラメータ。デフォルト値は 16 です。 キープアライブ タイムアウト。アダプタとコントローラ間のキープ アライブ タイムアウト値を秒単位で指定するオプションのパラメータ。デフォルトのタイムアウト値は 60 秒です。 注： I/O キュー サイズと I/O キュー番号は、 esxcli を使用した場合にのみ設定できるオプションのパラメータです。

結果

コントローラがコントローラのリストに表示されます。これでホストは、コントローラに関連付けられている NVMe 名前空間を検出できるようになります。ESXi 環境内の名前空間を表す NVMe ストレージ デバイスが、vSphere Client のストレージ デバイス リストに表示されます。