Der Adapter-Konfigurationsvorgang auf dem ESXi-Host umfasst das Einrichten der VMkernel-Bindung für einen RDMA-Netzwerkadapter und das anschließende Hinzufügen eines NVMe over RDMA-Softwareadapters. Anschließend können Sie einen NVMe-Controller hinzufügen.

Der gesamte Konfigurationsprozess umfasst die folgenden Aktionen.
Aktion Beschreibung
Anzeigen von RDMA-Netzwerkadaptern Installieren Sie auf Ihrem ESXi-Host einen Netzwerkadapter, der RDMA (RoCE v2) unterstützt. Beispiel: Mellanox Technologies MT27700 Family ConnectX-4.

Nachdem Sie den Netzwerkadapter installiert haben, verwenden Sie die vSphere Client, um den RDMA-Adapter und einen physischen Netzwerkadapter zu überprüfen.
Konfigurieren der VMkernel-Bindung für den RDMA-Adapter Die Port-Bindung für NVMe over RDMA umfasst das Erstellen eines Switches und das Verbinden des physischen Netzwerkadapters und des VMkernel-Adapters mit dem Switch. Über diese Verbindung wird der RDMA-Adapter an den VMkernel-Adapter gebunden. In der Konfiguration können Sie einen vSphere Standard-Switch oder einen vSphere Distributed Switch verwenden.
Hinzufügen des Software NVMe over RDMA-Adapters Aktivieren Sie die Software-Speicheradapter für NVMe over RDMA mit vSphere Client.
Hinzufügen von Controllern für NVMe over Fabrics Verwenden Sie den vSphere Client, um einen NVMe-Controller hinzuzufügen. Nachdem Sie den Controller hinzugefügt haben, werden die dem Controller zugeordneten NVMe-Namespaces für Ihren ESXi-Host verfügbar. Die NVMe-Speichergeräte, die die Namespaces in der ESXi-Umgebung darstellen, werden in der Liste der Speichergeräte angezeigt.

Das folgende Video führt Sie durch die Schritte zum Konfigurieren von NVMe over RDMA-Adaptern.

Anzeigen von RDMA-Netzwerkadaptern

Nachdem Sie einen Netzwerkadapter installiert haben, der RDMA (RoCE v2) auf Ihrem ESXi-Host unterstützt, verwenden Sie den vSphere Client zum Überprüfen des RDMA-Adapters und eines physischen Netzwerkadapters.

Prozedur

  1. Installieren Sie auf Ihrem ESXi-Host einen Adapter, der RDMA (ROCE v2) unterstützt, z. B. Mellanox Technologies MT27700 Family ConnectX-4.
    Der Host erkennt den Adapter und der vSphere Client zeigt seine beiden Komponenten an, einen RDMA-Adapter und einen physischen Netzwerkadapter.
  2. Stellen Sie im vSphere Client sicher, dass der RDMA-Adapter von Ihrem Host erkannt wird.
    1. Navigieren Sie zum Host.
    2. Klicken Sie auf die Registerkarte Konfigurieren.
    3. Klicken Sie unter Netzwerk auf RDMA-Adapter.
      In diesem Beispiel wird der RDMA-Adapter in der Liste als vmrdma0 angezeigt. Die Spalte Gekoppelter Uplink zeigt die Netzwerkkomponente als physischen Netzwerkadapter vmnic1 an.

      Der RDMA-Adapter wird in der Liste als „vmrdma0“ angezeigt. In der Spalte „Gekoppelter Uplink“ wird die Netzwerkkomponente als „vmnic1“ angezeigt.

    4. Um die Beschreibung des Adapters zu überprüfen, wählen Sie den RDMA-Adapter aus der Liste aus und klicken Sie auf die Registerkarte Eigenschaften.

Konfigurieren der VMkernel-Bindung für den RDMA-Adapter

Die Port-Bindung für NVMe over RDMA umfasst das Erstellen eines Switches und das Verbinden des physischen Netzwerkadapters und des VMkernel-Adapters mit dem Switch. Über diese Verbindung wird der RDMA-Adapter an den VMkernel-Adapter gebunden. In der Konfiguration können Sie einen vSphere Standard-Switch oder einen vSphere Distributed Switch verwenden.

Im folgenden Diagramm wird die Port-Bindung für den NVMe over RDMA-Adapter angezeigt.

Diese Grafik zeigt die Port-Bindung für den NVMe over RDMA-Adapter.

Informationen zum Erstellen von Switches finden Sie unter vSphere Standard-Switch erstellen oder vSphere Distributed Switch erstellen in der vSphere-Netzwerk-Dokumentation.

Beispiel einer Netzwerktopologie mit NVMe over RDMA

In diesem Beispiel stellen zwei vSphere Standard-Switches und zwei Uplinks (RDMA-fähige Netzwerkkarten) Hochverfügbarkeit bereit. Sie stellen eine Verbindung zu zwei Controller-Paaren in zwei Subnetzen her.

Hochverfügbarkeit mit mehreren vSwitches und mehreren Uplinks (RNICs)

Diese Grafik zeigt zwei vSphere-Standard-Switches und zwei Uplinks, die Hochverfügbarkeit ermöglichen.

Konfigurieren der VMkernel-Bindung mit einem vSphere Standard-Switch

Sie können eine VMkernel-Port-Bindung für den RDMA-Adapter mithilfe eines vSphere Standard-Switches und eines Uplinks pro Switch konfigurieren. Zum Konfigurieren der Netzwerkverbindung muss für jeden physischen Netzwerkadapter ein virtueller VMkernel-Adapter erstellt werden. Sie verwenden eine 1:1-Zuordnung zwischen jedem virtuellen und physischen Netzwerkadapter.

Prozedur

  1. Erstellen Sie einen vSphere Standard-Switch mit einem VMkernel-Adapter und der Netzwerkkomponente.
    1. Wählen Sie im vSphere Client Ihren Host aus und klicken Sie auf die Registerkarte Netzwerke.
    2. Klicken Sie auf Aktionen > Netzwerk hinzufügen.
    3. Wählen Sie VMkernel-Netzwerkadapter aus und klicken Sie auf WEITER.
    4. Wählen Sie Neuer Standard-Switch und klicken Sie auf WEITER.
    5. Klicken Sie unter Zugewiesene Adapter auf +.
      Die Liste der verfügbaren physischen Adapter wird angezeigt.
    6. Wählen Sie den notwendigen physischen Adapter vmnic aus und klicken Sie auf OK.
      Hinweis: Stellen Sie sicher, dass Sie den physischen Netzwerkadapter auswählen, der dem RDMA-Adapter entspricht. Zum Anzeigen der Verknüpfung zwischen dem RDMA-Adapter vmrdma und dem physischen Netzwerkadapter vmnic finden Sie Informationen unter Anzeigen von RDMA-Netzwerkadaptern.
    7. Geben Sie unter Porteinstellungen für VMkernel die notwendigen Werte ein.
      Geben Sie bei Verwendung von VLAN für den Speicherpfad die VLAN-ID ein.
    8. Geben Sie in der Liste IP-Einstellungen die IPv4-Einstellungen für den VMkernel ein.
    9. Wählen Sie unter „Verfügbare Dienste“ die Option NVMe over RDMA aus.
  2. Stellen Sie sicher, dass der Switch ordnungsgemäß konfiguriert ist.
    1. Wählen Sie auf der Registerkarte Konfigurieren die Option Virtuelle Switches unter Netzwerk aus.
    2. Erweitern Sie den Switch und überprüfen Sie die zugehörige Konfiguration.

      Die Abbildung zeigt, dass der physische Netzwerkadapter und der VMkernel-Adapter mit dem vSphere Standard-Switch verbunden sind. Über diese Verbindung ist der RDMA-Adapter an den VMkernel-Adapter gebunden.

      Die Abbildung zeigt die Konfiguration des physischen Netzwerkadapters und des VMkernel-Adapters mit einem vSphere Standard-Switch.

  3. Überprüfen Sie die Konfiguration der VMkernel-Bindung für den RDMA-Adapter.
    1. Klicken Sie unter der Liste Netzwerk auf RDMA-Adapter und wählen Sie den RDMA-Adapter in der Liste aus.
    2. Klicken Sie auf die Registerkarte Bindung von VMkernel-Adaptern und stellen Sie sicher, dass der zugehörige VMkernel-Adapter auf der Seite angezeigt wird.
      In diesem Beispiel wird der RDMA-Adapter vmrdma0mit dem Netzwerkadapter vmnic1 gekoppelt und mit dem VMkernel-Adapter vmk1 verbunden.

      Die Abbildung zeigt die Konfiguration der VMkernel-Bindung für den RDMA-Adapter.

Konfigurieren der VMkernel-Bindung mit einem vSphere Standard-Switch und NIC-Gruppierung

Sie können eine VMkernel-Port-Bindung für den RDMA-Adapter konfigurieren, indem Sie einen vSphere Standard-Switch mit der NIC-Gruppierungskonfiguration verwenden. Sie können die NIC-Gruppierung verwenden, um Netzwerkredundanz zu erreichen. Sie können zwei oder mehr Netzwerkadapter (NICs) als Gruppe für Hochverfügbarkeit und Lastausgleich konfigurieren.

Prozedur

  1. Erstellen Sie einen vSphere Standard-Switch mit einem VMkernel-Adapter und der Netzwerkkomponente mit der NIC-Gruppierungskonfiguration.
    1. Wählen Sie im vSphere Client Ihren Host aus und klicken Sie auf die Registerkarte Netzwerke.
    2. Klicken Sie auf Aktionen > Netzwerk hinzufügen.
    3. Wählen Sie VMkernel-Netzwerkadapter aus und klicken Sie auf WEITER.
    4. Wählen Sie Neuer Standard-Switch und klicken Sie auf WEITER.
    5. Klicken Sie unter Zugewiesene Adapter auf +.
      Eine Liste der verfügbaren physischen Adapter wird angezeigt.
    6. Wählen Sie den notwendigen physischen Adapter vmnic aus und fügen Sie ihn unter Aktive Adapter hinzu.
    7. Wählen Sie einen anderen physischen Adapter vmnic aus und fügen Sie ihn unter Nicht verwendete Adapter hinzu.
    8. Geben Sie unter Porteinstellungen für VMkernel die notwendigen Werte ein.
      Geben Sie bei Verwendung von VLAN für den Speicherpfad die VLAN-ID ein.
    9. Geben Sie in der Liste IP-Einstellungen die IPv4-Einstellungen für den VMkernel an.
    10. Wählen Sie unter „Verfügbare Dienste“ die Option NVMe over RDMA aus.
    Wiederholen Sie Schritt 1, um einen vorhandenen Standard-Switch zu konfigurieren.
  2. Konfigurieren Sie Ihren Switch für die NIC-Gruppierungskonfiguration.
    1. Klicken Sie auf die Registerkarte Konfigurieren und wählen Sie die Option Virtuelle Switches unter Netzwerk aus.
    2. Wählen Sie den entsprechenden VMkernel-Adapter aus.
    3. Klicken Sie im Kontextmenü auf Einstellungen bearbeiten.
    4. Wählen Sie Teaming und Failover aus.
    5. Verschieben Sie unter Aktive Adapter den erforderlichen physischen Adapter vmnic.
    6. Verschieben Sie unter Standby-Adapter > Failover-Reihenfolge die anderen physischen Adapter.
    7. Richten Sie den entsprechenden Lastausgleich und andere Eigenschaften ein.
    8. Wiederholen Sie die Schritte, um zusätzliche VMkernel-Adapter zu konfigurieren.
  3. Wiederholen Sie die Schritte 1 und 2, um einen zusätzlichen Satz gruppierter rnics hinzuzufügen und zu konfigurieren. Um sicherzustellen, dass der Adapter konfiguriert ist, klicken Sie auf die Registerkarte Konfigurieren und wählen Sie VMkernel-Adapter aus.

Konfigurieren der VMkernel-Bindung mit einem vSphere Distributed Switch

Sie können eine VMkernel-Port-Bindung für den RDMA-Adapter mithilfe eines vSphere Distributed Switches und eines Uplinks pro Switch konfigurieren. Zum Konfigurieren der Netzwerkverbindung muss für jeden physischen Netzwerkadapter ein virtueller VMkernel-Adapter erstellt werden. Sie verwenden eine 1:1-Zuordnung zwischen jedem virtuellen und physischen Netzwerkadapter.

Prozedur

  1. Erstellen Sie einen vSphere Distributed Switch mit einem VMkernel-Adapter und der Netzwerkkomponente.
    1. Wählen Sie im vSphere Client die Option Datencenter aus und klicken Sie auf die Registerkarte Netzwerke.
    2. Klicken Sie auf Aktionen und wählen Sie Distributed Switch > Neuer Distributed Switch aus.
    3. Wählen Sie einen Namen für den Switch aus.
      Stellen Sie sicher, dass der Speicherort des Datencenters innerhalb Ihres Hosts vorhanden ist, und klicken Sie auf Weiter.
    4. Wählen Sie eine kompatible ESXi-Version aus und klicken Sie auf Weiter.
    5. Geben Sie die erforderliche Anzahl an Uplinks ein und klicken Sie auf Beenden.
  2. Fügen Sie einen oder mehrere Hosts zu Ihrem Distributed Virtual Switch hinzu.
    1. Wählen Sie im vSphere Client die Option Datencenter aus und klicken Sie auf Distributed Switches.
      Eine Liste der verfügbaren DSwitches wird angezeigt.
    2. Klicken Sie mit der rechten Maustaste auf den DSwitch und wählen Sie Hosts hinzufügen und verwalten aus.
    3. Wählen Sie Hosts hinzufügen aus und klicken Sie auf Weiter.
    4. Wählen Sie den Host aus und klicken Sie auf Weiter.
    5. Wählen Sie Uplink zuweisen aus.
    6. Geben Sie den relevanten Uplink ein, um die vmnic zuzuweisen.
    7. Weisen Sie einen VMkernel-Adapter zu und klicken Sie auf Weiter.
    8. Wählen Sie im vSphere Client den DSwitch aus und klicken Sie auf die Registerkarte Ports.
      Sie können die Uplinks anzeigen, die für Ihren Switch erstellt wurden.
  3. Erstellen Sie verteilte Portgruppen für den Speicherpfad „NVMe over RDMA“.
    1. Wählen Sie im vSphere Client den erforderlichen DSwitch aus.
    2. Klicken Sie auf Aktionen und wählen Sie Verteilte Portgruppe > Neue verteilte Portgruppe aus.
    3. Geben Sie unter Einstellungen konfigurieren die allgemeinen Eigenschaften der Portgruppe ein.
      Wenn ein spezielles VLAN konfiguriert wurde, fügen Sie es in der VLAN-ID hinzu.
      Hinweis: Netzwerkkonnektivitätsprobleme können auftreten, wenn das VLAN nicht ordnungsgemäß konfiguriert wurde.
  4. Konfigurieren Sie die VMkernel-Adapter.
    1. Erweitern Sie im vSphere Client die Liste DSwitch und wählen Sie die verteilte Portgruppe aus.
    2. Klicken Sie auf Aktionen > VMkernel-Adapter hinzufügen.
    3. Wählen Sie im Dialogfeld Mitglieder-Hosts auswählen Ihren Host aus und klicken Sie auf OK.
    4. Stellen Sie im Dialogfeld VMkernel-Adapter konfigurieren sicher, dass die MTU mit der Switch-MTU übereinstimmt.
    5. Wählen Sie unter Verfügbare Dienste die Option NVMe over RDMA für das entsprechende Tagging aus.
    6. Klicken Sie auf Beenden.
    7. Wiederholen Sie Schritt B und Schritt C, um mehrere RDMA-fähige Netzwerkkarten hinzuzufügen.
  5. Legen Sie NIC-Gruppierungsrichtlinien für die verteilten Portgruppen fest.
    1. Klicken Sie unter Verteilte Portgruppe auf Aktionen > Einstellungen bearbeiten.
    2. Klicken Sie auf Teaming und Failover und überprüfen Sie die aktiven Uplinks.
    3. Weisen Sie einen Uplink als Aktiv für die Portgruppe zu und den anderen Uplink als Nicht verwendet.
      Wiederholen Sie Schritt C für jede erstellte Portgruppe.

Nächste Maßnahme

Klicken Sie nach Abschluss der Konfiguration auf Konfigurieren und stellen Sie sicher, dass auf der Registerkarte „Physischer Adapter“ Ihres Hosts der DVSwitch für die ausgewählten Netzwerkkarten aufgelistet wird.

Hinzufügen von Software NVMe over RDMA- oder NVMe oder TCP-Softwareadaptern

ESXi unterstützt NVMe over RDMA- und NVMe over TCP-Softwareadapter. Fügen Sie die Software-Speicheradapter für NVMe over RDMA oder NVMe over TCP mit dem vSphere Client hinzu.

Voraussetzungen

Prozedur

  1. Navigieren Sie im vSphere Client zum ESXi-Host.
  2. Klicken Sie auf die Registerkarte Konfigurieren.
  3. Klicken Sie unter Speicher auf Speicheradapter und anschließend auf das Symbol Softwareadapter hinzufügen.
  4. Wählen Sie den Adaptertyp nach Bedarf aus.
    • NVMe over RDMA-Adapter
    • NVMe over TCP-Adapter
  5. Wählen Sie je nach Ihrer Auswahl in Schritt 4 im Dropdown-Menü einen geeigneten RDMA- oder TCP-Netzwerkadapter (vmnic) aus.
    Hinweis: Wenn Sie eine Fehlermeldung erhalten, die verhindert, dass Sie den Softwareadapter erstellen, stellen Sie sicher, dass die VMkernel-Bindung für den Adapter ordnungsgemäß konfiguriert ist. Weitere Informationen finden Sie unter Konfigurieren der VMkernel-Bindung für den RDMA-Adapter und Konfigurieren der VMkernel-Bindung für den NVMe over TCP-Adapter.

Ergebnisse

Die NVMe over RDMA- und NVMe TCP-Softwareadapter werden in der Liste als vmhba-Speicheradapter angezeigt. Sie können die Adapter entfernen, wenn Sie den zugrunde liegenden RDMA- und TCP-Netzwerkadapter für andere Zwecke freigeben müssen. Weitere Informationen hierzu finden Sie unter Entfernen von NVMe-Softwareadaptern vom ESXiHost.

Hinzufügen von Controllern für NVMe over Fabrics

Verwenden Sie den vSphere Client, um einen NVMe-Controller hinzuzufügen. Nachdem Sie den Controller hinzugefügt haben, werden die dem Controller zugeordneten NVMe-Namespaces für Ihren ESXi-Host verfügbar. Die NVMe-Speichergeräte, die die Namespaces in der ESXi-Umgebung darstellen, werden in der Liste der Speichergeräte angezeigt.

Voraussetzungen

Hinweis: Nach der Installation des erforderlichen Adapters stellt NVMe over Fibre Channel automatisch eine Verbindung zu allen Zielen her, die zu dem Zeitpunkt erreichbar sind. Sie können den Adapter später neu konfigurieren und seine Controller trennen oder andere Controller verbinden, die während des Hoststarts nicht verfügbar waren.

Prozedur

  1. Navigieren Sie im vSphere Client zum ESXi-Host.
  2. Klicken Sie auf die Registerkarte Konfigurieren.
  3. Klicken Sie unter Speicher auf Speicheradapter und wählen Sie den zu konfigurierenden Adapter (vmhba#) aus.
  4. Klicken Sie auf die Registerkarte Controller und dann auf Controller hinzufügen.
  5. Wählen Sie im Dialogfeld Controller hinzufügen eine der folgenden Erkennungsmethoden aus.
    Option Bezeichnung
    Automatisch Diese Option gibt an, dass Ihr Host Controller automatisch erkennen und eine Verbindung zu jedem verfügbaren Controller akzeptieren kann.
    1. Geben Sie die folgenden Parameter zum Erkennen von Controllern an.
      • Für NVMe over RDMA (ROCE v2) geben Sie die IP-Adresse und die Transport-Portnummer an.
      • Für NVMe over TCP werden die IP-Adresse, die Nummer des Transportports und der Digest-Parameter verwendet.
    2. Klicken Sie auf Controller erkennen.
    3. Wählen Sie in der Liste der Controller den zu verwendenden Controller aus.
    Manuell Mit dieser Methode geben Sie Controller-Details manuell ein. Der Host fordert mithilfe der von Ihnen angegebenen Parameter eine Verbindung zu einem bestimmten Controller an:
    • NQN des Subsystems
    • Angabe des Zielports.
      • Für NVMe over RDMA (RoCE v2) geben Sie die IP-Adresse und die Nummer des Transportports (optional) an.
      • Für NVMe over TCP werden die IP-Adresse, die Nummer des Transportports (optional) und der Digest-Parameter (optional) verwendet.
      • Für NVMe over Fibre Channel geben Sie den WorldWideNodeName und den WorldWidePortName an.
    • Größe der Verwaltungswarteschlange. Ein optionaler Parameter, der die Größe der Verwaltungswarteschlange des Controllers angibt. Der Standardwert ist 16.
    • Keep Alive-Zeitüberschreitung. Ein optionaler Parameter, der die Keep-Alive-Zeitüberschreitung in Sekunden zwischen dem Adapter und dem Controller angibt. Der Standardwert für die Zeitüberschreitung beträgt 60 Sekunden.
    Hinweis: Die Größe und Nummer der E/A-Warteschlange sind optionale Parameter, die nur über esxcli festgelegt werden können.

Ergebnisse

Der Controller ist in der Liste der Controller aufgeführt. Ihr Host kann jetzt die NVMe-Namespaces erkennen, die dem Controller zugeordnet sind. Die NVMe-Speichergeräte, die die Namespaces in der ESXi-Umgebung darstellen, werden in der Liste der Speichergeräte auf dem vSphere Client angezeigt.