Informazioni su come preparare l'ambiente ESXi per lo storage NVMe. I requisiti di configurazione potrebbero cambiare in base al tipo di trasporto NVMe utilizzato. Se si utilizza NVMe su RDMA (RoCE v2), oltre ai requisiti generali, è necessario configurare anche una rete Ethernet senza perdita di dati.

Requisiti per NVMe su PCIe

L'ambiente di storage ESXi deve includere i seguenti componenti:
  • Dispositivi di storage NVMe locali.
  • Host ESXi compatibile.
  • Hardware NVMe su scheda PCIe. Dopo aver installato la scheda, l'host ESXi la rileva e viene visualizzata in vSphere Client come scheda di storage (vmhba) con il protocollo indicato come PCIe. Non è necessario configurare la scheda.

Requisiti per NVMe su RDMA (RoCE v2)

Requisiti per NVMe su Fibre Channel

  • Array di storage Fibre Channel che supporta NVMe. Per informazioni, vedere Utilizzo di ESXi con SAN Fibre Channel.
  • Host ESXi compatibile.
  • Scheda NVMe hardware. In genere, è una HBA Fibre Channel che supporta NVMe. Quando si installa la scheda di rete, l'host ESXi la rileva e viene visualizzata in vSphere Client come scheda Fibre Channel standard (vmhba) con il protocollo di storage indicato come NVMe. Non è necessario configurare la scheda NVMe hardware per utilizzarla.
  • Controller NVMe. Non è necessario configurare il controller. Dopo aver installato la scheda NVMe hardware richiesta, si connette automaticamente a tutte le destinazioni e i controller che sono raggiungibili in questo momento. In un secondo momento, è possibile disconnettere i controller o connettere altri controller che non sono stati disponibili durante l'avvio dell'host. Vedere Aggiunta di controller per NVMe su Fabrics.

Requisiti per NVMe su TCP

Supporto per storage condiviso VMware NVMe over Fabrics

Nell'ambiente ESXi, i dispositivi di storage NVMe sono simili ai dispositivi di storage SCSI e possono essere utilizzati come storage condiviso. Attenersi a queste regole quando si utilizza lo storage NVMe-oF.
  • Non combinare tipi di trasporto per accedere allo stesso spazio dei nomi.
  • Assicurarsi che l'host abbia i percorsi attivi. Gli spazi dei nomi non possono essere registrati finché non viene individuato il percorso attivo.
Funzionalità di storage condiviso Storage SCSI su Fabric Storage NVMe su Fabric
RDM Supportato Non supportato
Dump principale Supportato Supportato
Prenotazioni SCSI-2 Supportato Non supportato
VMDK in cluster Supportato Supportato
VMDK condiviso con flag multi-writer Supportato Supportato

In vSphere 7.0 Update 1 e versioni successive.

Per ulteriori informazioni, vedere l'articolo della Knowledge base.
Virtual Volumes Supportato Supportato

In vSphere 8.0 e versioni successive.

Per ulteriori informazioni, vedere NVMe e Virtual Volumes in vSphere.
Accelerazione hardware con plug-in VAAI Supportato Non supportato
MPP predefinito NMP HPP (le destinazioni NVMe-oF non possono essere richieste da NMP)

Configurazione di Ethernet senza perdita di dati per NVMe su RDMA

NVMe su RDMA in ESXi richiede una rete Ethernet senza perdita di dati.

Per stabilire reti senza perdita di dati, è possibile selezionare una delle impostazioni QoS disponibili.

Abilitazione del controllo del flusso di pausa globale

In questa configurazione di rete, assicurarsi che sia abilitato il controllo del flusso di pausa globale nelle porte del commutatore di rete. Assicurarsi inoltre che le NIC che supportano RDMA nella negoziazione automatica dell'host al controllo del flusso corretto vengano eseguite automaticamente.

Per controllare il controllo del flusso, eseguire il comando seguente:

#esxcli network nic get -n vmnicX
   Pause RX: true
   Pause TX: true

Se le opzioni del comando sopra riportate non sono impostate su True, eseguire il comando seguente.

#esxcli network nic pauseParams set -r true -t true -n vmnicX

Abilitazione del controllo del flusso prioritario

Affinché il traffico RoCE sia lossless, è necessario configurare il valore della priorità PFC su 3 nel commutatore e negli host fisici. È possibile configurare PFC nell'host ESXi in due modi:
  • Configurazione automatica. Applicare automaticamente la configurazione PFC DCB in RNIC dell'host, se il driver RNIC supporta DCB e DCBx.

    È possibile verificare le impostazioni di DCB correnti eseguendo il comando seguente:

    #esxcli network nic dcb status get -n vmnicX
  • Configurazione manuale. In alcuni casi, i driver RNIC forniscono un metodo per configurare manualmente PFC DCB utilizzando parametri specifici dei driver. Per utilizzare questo metodo, vedere la documentazione del fornitore del driver specifico. Ad esempio, nel driver Mellanox ConnectX-4/5, è possibile impostare il valore di priorità PFC su 3 eseguendo il comando seguente e quindi riavviando l'host.
    #esxcli system module parameters set -m nmlx5_core -p "pfctx=0x08 pfcrx=0x08"

Abilitazione di PFC basato su DSCP

La soluzione PFC basata su DSCP è un altro modo per configurare la rete lossless. Negli host e nei commutatori fisici, è necessario impostare il valore di DSCP su 26. Per utilizzare questa opzione, vedere la documentazione del driver specifico del fornitore. Ad esempio, nel driver Mellanox ConnectX-4/5, è possibile impostare il valore del tag DSCP su 26 eseguendo i comandi seguenti.
  1. Abilitazione di PFC e della modalità di attendibilità DSCP.
    #esxcli system module parameters set -m nmlx5_core -p "pfctx=0x08 pfcrx=0x08 trust_state=2"
  2. Impostare il valore di DSCP su 26
    #esxcli system module parameters set -m nmlx5_rdma -p "dscp_force=26"
  3. Verificare i parametri per controllare se le impostazioni sono corrette e impostate.
    esxcli system module parameters list -m nmlx5_core | grep 'trust_state\|pfcrx\|pfctx'
  4. Riavviare l'host.