Le processus de configuration de l'adaptateur sur l'hôte ESXi implique la configuration d'une liaison VMkernel pour un adaptateur réseau RDMA, puis l'ajout d'un adaptateur NVMe over RDMA logiciel. Vous pouvez ensuite ajouter un contrôleur NVMe.

L'intégralité du processus de configuration inclut ces actions.
Action Description
Voir les adaptateurs réseau RDMA Sur votre hôte ESXi, installez un adaptateur réseau qui prend en charge RDMA (RoCE v2). Par exemple, Mellanox Technologies MT27700 Family ConnectX-4.

Après avoir installé l'adaptateur réseau, utilisez le vSphere Client pour vérifier l'adaptateur RDMA et un adaptateur réseau physique.
Configurer la liaison VMkernel pour l'adaptateur RDMA La liaison de port pour NVMe sur RDMA implique la création d'un commutateur et la connexion de l'adaptateur réseau physique et de l'adaptateur VMkernel au commutateur. Grâce à cette connexion, l'adaptateur RDMA se trouve lié à l'adaptateur VMkernel. Dans la configuration, vous pouvez utiliser un commutateur vSphere Standard ou un commutateur vSphere Distributed Switch.
Ajouter l'adaptateur logiciel NVMe over RDMA Utilisez vSphere Client pour activer les adaptateurs de stockage logiciels pour NVMe over RDMA.
Ajouter des contrôleurs pour NVMe over Fabrics Utilisez vSphere Client pour ajouter un contrôleur NVMe. Après l'ajout du contrôleur, les espaces de noms NVMe associés au contrôleur deviennent disponibles pour votre hôte ESXi. Les périphériques de stockage NVMe qui représentent les espaces de noms dans l'environnement ESXi s'affichent dans la liste des périphériques de stockage.

La vidéo suivante vous guide à travers les étapes de configuration des adaptateurs NVMe over RDMA.

Voir les adaptateurs réseau RDMA

Après avoir installé un adaptateur réseau qui prend en charge RDMA (RoCE v2) sur votre hôte ESXi, utilisez vSphere Client pour vérifier l'adaptateur RDMA et un adaptateur réseau physique.

Procédure

  1. Sur votre hôte ESXi, installez un adaptateur qui prend en charge RDMA (RoCE v2) (par exemple, Mellanox Technologies MT27700 Family ConnectX-4).
    L'hôte découvre l'adaptateur et vSphere Client affiche ses deux composants, un adaptateur RDMA et un adaptateur réseau physique.
  2. Dans vSphere Client, vérifiez que l'adaptateur RDMA est détecté par votre hôte.
    1. Accédez à l'hôte.
    2. Cliquez sur l'onglet Configurer.
    3. Sous Mise en réseau, cliquez sur Adaptateurs RDMA.
      Dans cet exemple, l'adaptateur RDMA figure dans la liste en tant que vmrdma0. La colonne Liaison montante couplée affiche le composant réseau comme adaptateur réseau physique vmnic1.

      L'adaptateur RDMA apparaît dans la liste en tant que vmrdma0. La colonne Liaison montante couplée affiche le composant réseau en tant que vmnic1.

    4. Pour vérifier la description de l'adaptateur, sélectionnez l'adaptateur RDMA dans la liste, puis cliquez sur l'onglet Propriétés.

Configurer la liaison VMkernel pour l'adaptateur RDMA

La liaison de port pour NVMe sur RDMA implique la création d'un commutateur et la connexion de l'adaptateur réseau physique et de l'adaptateur VMkernel au commutateur. Grâce à cette connexion, l'adaptateur RDMA se trouve lié à l'adaptateur VMkernel. Dans la configuration, vous pouvez utiliser un commutateur vSphere Standard ou un commutateur vSphere Distributed Switch.

Le diagramme suivant affiche la liaison de port pour l'adaptateur NVMe sur RDMA.

Ce graphique montre la liaison de port pour l’adaptateur NVMe over RDMA.

Pour plus d'informations sur la création de commutateurs, reportez-vous à la section Créer un commutateur vSphere Standard ou Créer un vSphere Distributed Switch dans la documentation de Mise en réseau vSphere.

Exemple de topologie réseau avec NVMe sur RDMA

Dans cet exemple, deux commutateurs standard vSphere et deux liaisons montantes (cartes réseau compatibles RDMA) fournissent une haute disponibilité. Ils se connectent à deux paires de contrôleurs dans deux sous-réseaux.

HA avec vSwitch et liaisons montantes multiples (RNIC)

Ce graphique affiche deux commutateurs standard vSphere et deux liaisons montantes qui fournissent une haute disponibilité.

Configurer la liaison VMkernel avec un commutateur standard vSphere

Vous pouvez configurer la liaison de port VMkernel pour l'adaptateur RDMA à l'aide d'un commutateur standard vSphere et d'une liaison montante par commutateur. La configuration de la connexion réseau implique de créer un adaptateur virtuel VMkernel pour chaque adaptateur réseau physique, Vous utilisez le mappage 1:1 entre chaque adaptateur réseau virtuel et physique.

Procédure

  1. Créez un commutateur standard vSphere avec un adaptateur VMkernel et le composant réseau.
    1. Dans vSphere Client, sélectionnez votre hôte, puis cliquez sur l'onglet Réseaux.
    2. Cliquez sur Actions > Ajouter une mise en réseau.
    3. Sélectionnez Adaptateur réseau VMkernel, puis cliquez sur SUIVANT.
    4. Sélectionnez Nouveau commutateur standard, puis cliquez sur SUIVANT.
    5. Sous Adaptateurs attribués, cliquez sur +.
      La liste des adaptateurs physiques disponibles s'affiche.
    6. Sélectionnez l'adaptateur physique requis vmnic, puis cliquez sur OK.
      Note : Assurez-vous de sélectionner l'adaptateur réseau physique qui correspond à l'adaptateur RDMA. Pour voir l'association entre l'adaptateur RDMA vmrdma et l'adaptateur réseau physique vmnic, reportez-vous à Voir les adaptateurs réseau RDMA.
    7. Sous Paramètres de port VMkernel, entrez les valeurs requises.
      Si vous utilisez un VLAN pour le chemin de stockage, entrez l'ID de VLAN.
    8. Dans la liste Paramètres IP, entrez les paramètres IPv4 VMkernel.
    9. Sous Services disponibles, sélectionnez NVMe over RDMA.
  2. Vérifiez que votre commutateur est correctement configuré.
    1. Dans l'onglet Configurer, sélectionnez Commutateurs virtuels sous Mise en réseau.
    2. Développez le commutateur et vérifiez sa configuration.

      L'illustration montre que l'adaptateur réseau physique et l'adaptateur VMkernel sont connectés au commutateur vSphere Standard. Grâce à cette connexion, l'adaptateur RDMA est lié à l'adaptateur VMkernel.

      L'illustration montre la configuration de l'adaptateur réseau physique et de l'adaptateur VMkernel avec un commutateur standard vSphere.

  3. Vérifiez la configuration de la liaison VMkernel pour l'adaptateur RDMA.
    1. Sous la liste Mise en réseau, cliquez sur Adaptateurs RDMA, puis sélectionnez l'adaptateur RDMA dans la liste.
    2. Cliquez sur l'onglet Liaison des adaptateurs VMkernel et vérifiez que l'adaptateur VMkernel associé s'affiche sur la page.
      Dans cet exemple, l'adaptateur RDMA vmrdma0 est couplé à l'adaptateur réseau vmnic1 et est connecté à l'adaptateur VMkernel vmk1.

      L'illustration montre la configuration de la liaison VMkernel pour l'adaptateur RDMA.

Configurer la liaison VMkernel avec un commutateur standard vSphere et l'association de cartes réseau

Vous pouvez configurer la liaison de port VMkernel pour l'adaptateur RDMA à l'aide d'un commutateur standard vSphere avec la configuration d'association de cartes réseau. Vous pouvez utiliser l'association de cartes réseau pour garantir la redondance du réseau. Vous pouvez configurer deux adaptateurs réseau (cartes réseau) ou plus en tant qu'équipe pour la haute disponibilité et l'équilibrage de charge.

Procédure

  1. Créez un commutateur standard vSphere avec un adaptateur VMkernel et le composant réseau au moyen de la configuration d'association de cartes réseau.
    1. Dans vSphere Client, sélectionnez votre hôte et cliquez sur l'onglet Réseaux.
    2. Cliquez sur Actions > Ajouter une mise en réseau.
    3. Sélectionnez Adaptateur réseau VMkernel, puis cliquez sur SUIVANT.
    4. Sélectionnez Nouveau commutateur standard, puis cliquez sur SUIVANT.
    5. Sous Adaptateurs attribués, cliquez sur +.
      Une liste des adaptateurs physiques disponibles s'affiche.
    6. Sélectionnez l'adaptateur physique requis vmnic et ajoutez-le sous Adaptateurs actifs.
    7. Sélectionnez un autre adaptateur physique vmnic, puis ajoutez-le sous Adaptateurs inutilisés.
    8. Sous Paramètres de port VMkernel, entrez les valeurs requises.
      Si vous utilisez un VLAN pour le chemin de stockage, entrez l'ID de VLAN.
    9. Dans la liste Paramètres IP, spécifiez les paramètres IPv4 VMkernel.
    10. Sous Services disponibles, sélectionnez NVMe over RDMA.
    Répétez l'étape 1 pour configurer un commutateur standard existant.
  2. Configurez votre commutateur pour la configuration de l'association de cartes réseau .
    1. Dans l'onglet Configurer, sélectionnez Commutateurs virtuels sous Mise en réseau.
    2. Sélectionnez l'adaptateur VMkernel approprié.
    3. Dans le menu contextuel, cliquez sur Modifier les paramètres.
    4. Sélectionnez Association et basculement.
    5. Sous Adaptateurs actifs, transférez l'adaptateur physique requis vmnic.
    6. Sous Adaptateurs en veille > Ordre de basculement, transférez les autres adaptateurs physiques.
    7. Définissez un équilibrage de charge et d'autres propriétés appropriés.
    8. Répétez les étapes pour configurer des adaptateurs VMkernel supplémentaires.
  3. Répétez les étapes 1 et 2 pour ajouter et configurer un ensemble supplémentaire de rnic associés. Pour vérifier que l'adaptateur est configuré, cliquez sur l'onglet Configurer, puis sélectionnez Adaptateurs VMkernel

Configurer la liaison VMkernel avec un vSphere Distributed Switch

Vous pouvez configurer la liaison de port VMkernel pour l'adaptateur RDMA à l'aide d'un vSphere Distributed Switch et d'une liaison montante par commutateur. La configuration de la connexion réseau implique de créer un adaptateur virtuel VMkernel pour chaque adaptateur réseau physique, Vous utilisez le mappage 1:1 entre chaque adaptateur réseau virtuel et physique.

Procédure

  1. Créez un vSphere Distributed Switch avec un adaptateur VMkernel et le composant réseau.
    1. Dans vSphere Client, sélectionnez Centre de données, puis cliquez sur l'onglet Réseaux.
    2. Cliquez sur Actions, puis sélectionnez Distributed Switch > Nouveau Distributed Switch.
    3. Sélectionnez un nom pour le commutateur.
      Assurez-vous que l'emplacement du centre de données est présent dans votre hôte, puis cliquez sur Suivant.
    4. Sélectionnez une version d'ESXi compatible, puis cliquez sur Suivant.
    5. Entrez le nombre de liaisons montantes requis, puis cliquez sur Terminer.
  2. Ajoutez un ou plusieurs hôtes à votre commutateur virtuel distribué.
    1. Dans vSphere Client, sélectionnez Centre de données, puis cliquez sur Distributed Switches.
      Une liste des Distributed Switches disponibles s'affiche.
    2. Cliquez avec le bouton droit sur le Distributed Switch et sélectionnez Ajouter et gérer des hôtes dans le menu.
    3. Sélectionnez Ajouter des hôtes, puis cliquez sur Suivant.
    4. Sélectionnez votre hôte et cliquez sur Suivant.
    5. Sélectionnez Attribuer une liaison montante.
    6. Entrez la liaison montante correspondante pour attribuer la vmnic.
    7. Attribuez un adaptateur VMkernel, puis cliquez sur Suivant.
    8. Dans vSphere Client, sélectionnez le Distributed Switch, puis cliquez sur l'onglet Ports.
      Vous pouvez afficher ici les liaisons montantes créées pour votre commutateur.
  3. Créez des groupes de ports distribués pour le chemin de stockage NVMe sur RDMA.
    1. Dans vSphere Client, sélectionnez le Distributed Switch requis.
    2. Cliquez sur Actions et sélectionnez Groupe de ports distribués > Nouveau groupe de ports distribués.
    3. Sous Configurer les paramètres, entrez les propriétés générales du groupe de ports.
      Si vous avez configuré un VLAN spécifique, ajoutez-le dans l'ID de VLAN.
      Note : Des problèmes de connectivité réseau peuvent se produire si vous ne configurez pas correctement le VLAN.
  4. Configurez les adaptateurs VMkernel.
    1. Dans vSphere Client, développez la liste DSwitch, puis sélectionnez le groupe de ports distribués.
    2. Cliquez sur Actions > Ajouter des adaptateurs VMkernel.
    3. Dans la boîte de dialogue Sélectionner des hôtes membres, sélectionnez votre hôte et cliquez sur OK.
    4. Dans la boîte de dialogue Configurer l'adaptateur VMkernel, assurez-vous que le MTU correspond au MTU du commutateur.
    5. Sous Services disponibles, sélectionnez NVMe over RDMA pour le balisage approprié.
    6. Cliquez sur Terminer.
    7. Répétez l'étape b et l'étape c pour ajouter plusieurs cartes réseau compatibles RDMA.
  5. Définissez les stratégies d'association de cartes réseau pour les groupes de ports distribués.
    1. Dans Groupe de ports distribués, cliquez sur Actions > Modifier les paramètres.
    2. Cliquez sur Association et basculement, puis vérifiez les liaisons montantes actives.
    3. Attribuez une liaison montante en tant que Active pour le groupe de ports et l'autre liaison montante comme Inutilisée.
      Répétez l'étape c pour chacun des groupes de ports créés.

Que faire ensuite

Une fois la configuration terminée, cliquez sur Configurer et vérifiez si l'onglet Adaptateur physique sur votre hôte répertorie les DVSwitch pour les cartes réseau sélectionnées.

Ajouter les adaptateurs logiciels NVMe over RDMA ou NVMe over TCP

ESXi prend en charge les adaptateurs logiciels NVMe over RDMA et NVMe over TCP. Utilisez vSphere Client pour ajouter les adaptateurs de stockage logiciel pour NVMe over RDMA ou NVMe over TCP.

Conditions préalables

Procédure

  1. Dans vSphere Client, accédez à l'hôte ESXi.
  2. Cliquez sur l'onglet Configurer.
  3. Sous Stockage, cliquez sur Adaptateurs de stockage, puis cliquez sur l'icône Ajouter un adaptateur logiciel.
  4. Sélectionnez le type d'adaptateur requis.
    • Adaptateur NVMe over RDMA
    • Adaptateur NVMe over TCP
  5. En fonction de votre sélection à l'étape 4, sélectionnez un adaptateur RDMA ou un adaptateur réseau TCP approprié (vmnic) dans le menu déroulant.
    Note : Si vous obtenez un message d'erreur qui vous empêche de créer l'adaptateur logiciel, assurez-vous que la liaison VMkernel pour l'adaptateur est correctement configurée. Pour plus d'informations, reportez-vous à Configurer la liaison VMkernel pour l'adaptateur RDMA et Configurer la liaison VMkernel pour l'adaptateur NVMe over TCP.

Résultats

Les adaptateurs logiciels NVMe over RDMA et NVMe over TCP s'affichent dans la liste en tant qu'adaptateurs de stockage vmhba. Vous pouvez supprimer les adaptateurs si vous devez libérer l'adaptateur réseau RDMA et TCP sous-jacent à d'autres fins. Reportez-vous à la section Supprimer les adaptateurs NVMe logiciels de l'hôte ESXi.

Ajouter des contrôleurs pour NVMe over Fabrics

Utilisez vSphere Client pour ajouter un contrôleur NVMe. Après l'ajout du contrôleur, les espaces de noms NVMe associés au contrôleur deviennent disponibles pour votre hôte ESXi. Les périphériques de stockage NVMe qui représentent les espaces de noms dans l'environnement ESXi s'affichent dans la liste des périphériques de stockage.

Conditions préalables

Note : Avec NVMe over Fibre Channel, après l'installation de l'adaptateur requis, celui-ci se connecte automatiquement à toutes les cibles accessibles à ce moment-là. Vous pourrez ensuite reconfigurer l'adaptateur et déconnecter ses contrôleurs ou bien connecter d'autres contrôleurs qui n'étaient pas disponibles lors du démarrage de l'hôte.

Procédure

  1. Dans vSphere Client, accédez à l'hôte ESXi.
  2. Cliquez sur l'onglet Configurer.
  3. Sous Stockage, cliquez sur Adaptateurs de stockage, puis sélectionnez l'adaptateur (vmhba#) à configurer.
  4. Cliquez sur l'onglet Contrôleurs et cliquez sur Ajouter un contrôleur.
  5. Dans la boîte de dialogue Ajouter un contrôleur, sélectionnez l'une des méthodes de découverte suivantes.
    Option Description
    Automatiquement Cette option indique que votre hôte peut détecter automatiquement les contrôleurs et accepter la connexion à n'importe quel contrôleur disponible.
    1. Spécifiez les paramètres suivants pour que détecte les contrôleurs.
      • Pour NVMe over RDMA (RoCE v2), l'adresse IP et le numéro de port de transport.
      • Pour NVMe over TCP, l'adresse IP, le numéro de port de transport et le paramètre de résumé.
    2. Cliquez sur Détecter des contrôleurs.
    3. Dans la liste des contrôleurs, sélectionnez le contrôleur à utiliser.
    Manuellement Avec cette méthode, vous entrez manuellement les détails du contrôleur. L'hôte demande une connexion à un contrôleur spécifique à l'aide des paramètres que vous spécifiez :
    • NQN du sous-système
    • Identification du port cible.
      • Pour NVMe over RDMA (RoCE v2), l'adresse IP et le numéro de port de transport (facultatif).
      • Pour NVMe over TCP, l'adresse IP, le numéro de port de transport (facultatif) et le paramètre de résumé (facultatif).
      • Pour NVMe over Fibre Channel, WorldWideNodeName et WorldWidePortName.
    • Taille de la file d'attente administrative. Paramètre facultatif qui spécifie la taille de la file d'attente administrative du contrôleur. La valeur par défaut est 16.
    • Délai d'expiration de la conservation. Paramètre facultatif permettant de spécifier, en secondes, le délai d'expiration de la conservation entre l'adaptateur et le contrôleur. La valeur du délai d'attente par défaut est de 60 secondes.
    Note : La taille de la file d'attente d'E/S et le numéro de file d'attente d'E/S sont des paramètres facultatifs qui peuvent être définis uniquement via esxcli.

Résultats

Le contrôleur s'affiche dans la liste des contrôleurs. Votre hôte peut maintenant découvrir les espaces de noms NVMe qui sont associés au contrôleur. Les périphériques de stockage NVMe qui représentent les espaces de noms dans l'environnement ESXi apparaissent dans la liste des périphériques de stockage dans vSphere Client.