NVMe sur RDMA dans ESXi nécessite un réseau Ethernet sans perte pour fonctionner efficacement.

Pour établir des réseaux sans perte, vous pouvez sélectionner l’un des paramètres QoS disponibles.

Activation du contrôle de flux d'interruption globale

Dans cette configuration réseau, assurez-vous que le contrôle de flux d'interruption globale est activé sur les ports de commutateur réseau. Assurez-vous également que les cartes réseau compatibles RDMA dans l'hôte négocient automatiquement le contrôle de flux adapté.

Pour vérifier le contrôle de flux, exécutez les commandes suivantes.

#esxcli network nic get -n vmnicX
   Pause RX: true
   Pause TX: true

Si les options de commande ci-dessus ne sont pas définies sur true, exécutez la commande suivante.

#esxcli network nic pauseParams set -r true -t true -n vmnicX

Activation du contrôle de flux de priorité

Pour que le trafic RoCE soit sans perte, vous devez configurer la valeur de priorité PFC sur 3 dans le commutateur physique et les hôtes. Vous pouvez configurer le PFC dans l'hôte ESXi de deux manières :
  • Configuration automatique. À partir de ESXi 7.0, vous pouvez appliquer la configuration de PFC DCB automatiquement sur l'hôte RNIC, si le pilote RNIC prend en charge DCB et DCBx.

    Pour vérifier les paramètres actuels, exécutez la commande suivante.

    #esxcli network nic dcb status get -n vmnicX
  • Configuration manuelle. Dans certains cas, les pilotes RNIC fournissent une méthode pour configurer manuellement le PFC DCB à l'aide des paramètres spécifiques du pilote. Pour utiliser cette méthode, reportez-vous à la documentation du pilote propre au fournisseur. Par exemple, dans le pilote Mellanox ConnectX-4/5, vous pouvez définir la valeur de priorité PFC sur 3 en exécutant la commande suivante et en redémarrant l'hôte.
    #esxcli system module parameters set -m nmlx5_core -p "pfctx=0x08 pfcrx=0x08"

Activation du PFC basé sur DSCP

Le mode PFC basé sur DSCP est une autre méthode de configuration de réseau sans perte. Dans les commutateurs et les hôtes physiques, vous devez définir la valeur DSCP sur 26. Pour utiliser cette option, reportez-vous à la documentation du pilote propre au fournisseur. Par exemple, dans le pilote Mellanox ConnectX-4/5, vous pouvez définir la valeur de balise DSCP sur 26 en exécutant les commandes suivantes.
  • Activer le mode d'approbation PFC et DSCP
    #esxcli system module parameters set -m nmlx5_core -p "pfctx=0x08 pfcrx=0x08 trust_state=2"
  • Définir la valeur DSCP sur 26
    #esxcli system module parameters set -m nmlx5_rdma -p "dscp_force=26"
  • Vérifiez les paramètres pour vous assurer qu'ils sont corrects et définis.
    esxcli system module parameters list -m nmlx5_core | grep 'trust_state\|pfcrx\|pfctx'
  • Redémarrer l'hôte