Distributed Logical Router(DLR)-Kernel-Module im Host sind für das Routing zwischen VXLAN-Netzwerken sowie zwischen virtuellen und physischen Netzwerken zuständig. Ein NSX Edge-Appliance liefert nach Bedarf eine dynamische Routing-Funktion. Ein Universal Distributed Logical Router bietet Ost-West-Routing zwischen globalen logischen Switches.
- In NSX Data Center for vSphere 6.2 und höher ist es möglich, mit logischen Routern geroutete logische Schnittstellen (LIFs) mit einem VXLAN zu verbinden, das zu einem VLAN überbrückt ist.
- Logische Router- und Bridging-Schnittstellen können nicht mit einer dvPortgroup verbunden werden, wenn die VLAN-ID auf 0 festgelegt ist.
- Eine bestimmte Instanz eines logischen Routers kann nicht mit logischen Switches aus unterschiedlichen Transportzonen verbunden werden. Dadurch soll sichergestellt werden, dass alle logischen Switches und logischen Router-Instanzen aufeinander abgestimmt sind.
- Es kann keine Verbindung zwischen einem logischen Router und VLAN-gestützten Portgruppen hergestellt werden, wenn der logische Router mit logischen Switches verbunden ist, die sich über mehr als einen vSphere Distributed Switch (VDS) erstrecken. Dadurch wird die ordnungsgemäße Ausrichtung logischer Router-Instanzen mit den dvPortgroups logischer Switches über Hosts hinweg sichergestellt.
- Logische Router-Schnittstellen müssen nicht auf zwei unterschiedlichen verteilten Portgruppen (dvPortgroups) mit derselben VLAN-ID erstellt werden, wenn sich die beiden Netzwerke im gleichen vSphere Distributed Switch befinden.
- Logische Router-Schnittstellen sollten nicht auf zwei unterschiedlichen dvPortgroups mit derselben VLAN-ID erstellt werden, wenn sich zwei Netzwerke in unterschiedlichen vSphere Distributed Switches befinden, aber sich die beiden vSphere Distributed Switches identische Hosts teilen. In anderen Worten: Logische Router-Schnittstellen können auf zwei unterschiedlichen Netzwerken mit derselben VLAN-ID erstellt werden, wenn sich die beiden dvPortgroups in zwei unterschiedlichen vSphere Distributed Switches befinden, solange sich die vSphere Distributed Switches keinen Host teilen.
- Wenn VXLAN konfiguriert ist, müssen logische Router-Schnittstellen auf dem vSphere Distributed Switch mit verteilten Portgruppen verbunden sein, auf dem VXLAN konfiguriert ist. Verbinden Sie die logischen Router-Schnittstellen nicht mit Portgruppen auf anderen vSphere Distributed Switches.
- Dynamische Routing-Protokolle (BGP und OSPF) werden nur auf Uplink-Schnittstellen unterstützt.
- Firewallregeln gelten nur auf Uplink-Schnittstellen und sind auf Kontrolle und Verwaltung von Datenverkehr beschränkt, der die virtuelle Edge-Appliance zum Ziel hat.
- Weitere Informationen über die DLR-Verwaltungsschnittstelle finden Sie im Knowledgebase-Artikel „Interface Guide: DLR Control VM – NSX“ http://kb.vmware.com/kb/2122060.
Wenn Sie die Hochverfügbarkeit auf einem NSX Edge in einer Cross-vCenter NSX-Umgebung aktivieren, müssen sich die aktive und die Standby-NSX Edge-Appliances im selben vCenter Server befinden. Wenn Sie eine der Appliances eines NSX Edge-HA-Paares auf einen anderen vCenter Server migrieren, werden die beiden HA-Appliances nicht mehr als HA-Paar ausgeführt. Dies kann zu einer Unterbrechung des Datenverkehrs führen.
Voraussetzungen
- Ihnen muss die Rolle Enterprise-Administrator oder NSX-Administrator zugewiesen sein.
- Sie müssen auch dann einen lokalen Segment-ID-Pool erstellen, wenn Sie nicht vorhaben, logische Switches zu erstellen.
- Stellen Sie vor der Erstellung oder Änderung der Konfiguration eines logischen Routers sicher, dass der Controller-Cluster eingerichtet und verfügbar ist. Ein logischer Router kann ohne die Hilfe von NSX Controllern keine Routing-Informationen an Hosts verteilen. Ein logischer Router verlässt sich auf die Funktion von NSX Controllern, was bei Edge Services Gateways (ESGs) nicht der Fall ist.
- Wenn ein logischer Router mit VLAN-dvPortgroups verbunden werden soll, stellen Sie sicher, dass alle Hypervisor-Hosts mit einer installierten logischen Router-Appliance einander auf UDP-Port 6999 erreichen können. Die Kommunikation über diesen Port ist erforderlich, damit der auf dem VLAN des logischen Routers basierende ARP-Proxy funktioniert.
- Legen Sie fest, wo die logische Router-Appliance bereitgestellt werden soll.
- Der Zielhost muss Teil derselben Transportzone wie die logischen Switches sein, die mit den Schnittstellen des neuen logischen Routers verbunden sind.
- Vermeiden Sie eine Platzierung auf demselben Host als ein oder mehrere vorgeschaltete ESGs, sofern Sie ESGs in einer ECMP-Einrichtung verwenden. Um diese Praxis durchzusetzen, können Sie DRS-Regeln für Anti-Affinität verwenden, wodurch die Auswirkungen eines Hostfehlers auf die Weiterleitung logischer Router reduziert werden. Diese Richtlinie gilt nicht, wenn Sie ein ESG alleine oder im HA-Modus verwenden. Weitere Informationen finden Sie in der Dokumentation Design-Handbuch für die NSX-Netzwerkvirtualisierung unter https://communities.vmware.com/docs/DOC-27683.
- Stellen Sie sicher, dass das Hostcluster, auf dem Sie die logische Router-Appliance installieren, für NSX Data Center for vSphere vorbereitet ist. Informationen dazu erhalten Sie unter „Vorbereiten der Hostcluster für NSX“ in der Dokumentation Installationshandbuch für NSX.
- Bestimmen Sie, ob Sie den lokalen Ausgang aktivieren müssen. Mit dem lokalen Ausgang können Sie selektiv Routen an Hosts senden. Wenn Ihre NSX-Bereitstellung mehrere Sites umfasst, ist diese Option hilfreich. Weitere Informationen hierzu finden Sie unter Cross-vCenter NSX-Topologien. Sie können den lokalen Ausgang nach der Erstellung des globalen logischen Routers nicht mehr aktivieren.
Prozedur
Ergebnisse
In der folgenden Beispiel-Topologie ist das Standard-Gateway der App-VM 172.16.20.1. Das Standard-Gateway der Web-VM ist 172.16.10.1. Stellen Sie sicher, dass die VMs ihre Standard-Gateways und sich gegenseitig pingen können.
-
Führen Sie alle Informationen zur logischen Router-Instanz auf.
nsxmgr-l-01a> show logical-router list all Edge-id Vdr Name Vdr id #Lifs edge-1 default+edge-1 0x00001388 3 -
Führen Sie die Hosts auf, die vom Controller-Cluster Routing-Informationen für den logischen Router empfangen haben.
nsxmgr-l-01a> show logical-router list dlr edge-1 host ID HostName host-25 192.168.210.52 host-26 192.168.210.53 host-24 192.168.110.53Die Ausgabe umfasst alle Hosts von allen Hostclustern, die als Mitglieder der Transportzone konfiguriert wurden, welche den mit dem angegebenen logischen Router verbundenen logischen Switch besitzt (in diesem Beispiel edge-1).
-
Führen Sie die Routing-Tabelleninformationen auf, die vom logischen Router zu den Hosts übertragen werden. Einträge der Routing-Tabelle sollten über sämtliche Hosts hinweg einheitlich sein.
nsx-mgr-l-01a> show logical-router host host-25 dlr edge-1 route VDR default+edge-1 Route Table Legend: [U: Up], [G: Gateway], [C: Connected], [I: Interface] Legend: [H: Host], [F: Soft Flush] [!: Reject] [E: ECMP] Destination GenMask Gateway Flags Ref Origin UpTime Interface ----------- ------- ------- ----- --- ------ ------ --------- 0.0.0.0 0.0.0.0 192.168.10.1 UG 1 AUTO 4101 138800000002 172.16.10.0 255.255.255.0 0.0.0.0 UCI 1 MANUAL 10195 13880000000b 172.16.20.0 255.255.255.0 0.0.0.0 UCI 1 MANUAL 10196 13880000000a 192.168.10.0 255.255.255.248 0.0.0.0 UCI 1 MANUAL 10196 138800000002 192.168.100.0 255.255.255.0 192.168.10.1 UG 1 AUTO 3802 138800000002 -
Führen Sie zusätzliche Informationen über den Router aus der Sicht eines Hosts auf. Diese Ausgabe ist hilfreich, um festzustellen, welcher Controller mit dem Host kommuniziert.
nsx-mgr-l-01a> show logical-router host host-25 dlr edge-1 verbose VDR Instance Information : --------------------------- Vdr Name: default+edge-1 Vdr Id: 0x00001388 Number of Lifs: 3 Number of Routes: 5 State: Enabled Controller IP: 192.168.110.203 Control Plane IP: 192.168.210.52 Control Plane Active: Yes Num unique nexthops: 1 Generation Number: 0 Edge Active: No
Überprüfen Sie das Controller-IP-Feld in der Ausgabe des show logical-router host host-25 dlr edge-1 verbose-Befehls.
-
192.168.110.202 # show control-cluster logical-switches vni 5000 VNI Controller BUM-Replication ARP-Proxy Connections 5000 192.168.110.201 Enabled Enabled 0Die Ausgabe für VNI 5000 zeigt null Verbindungen an und führt Controller 192.168.110.201 als Besitzer für VNI 5000 auf. Melden Sie sich bei diesem Controller an, um weitere Informationen über VNI 5000 zu sammeln.192.168.110.201 # show control-cluster logical-switches vni 5000 VNI Controller BUM-Replication ARP-Proxy Connections 5000 192.168.110.201 Enabled Enabled 3Die Ausgabe auf 192.168.110.201 zeigt drei Verbindungen an. Überprüfen Sie zusätzliche VNIs.192.168.110.201 # show control-cluster logical-switches vni 5001 VNI Controller BUM-Replication ARP-Proxy Connections 5001 192.168.110.201 Enabled Enabled 3192.168.110.201 # show control-cluster logical-switches vni 5002 VNI Controller BUM-Replication ARP-Proxy Connections 5002 192.168.110.201 Enabled Enabled 3Da 192.168.110.201 alle drei VNI-Verbindungen besitzt, sollten auf dem anderen Controller, 192.168.110.203, erwartungsgemäß null Verbindungen angezeigt werden.192.168.110.203 # show control-cluster logical-switches vni 5000 VNI Controller BUM-Replication ARP-Proxy Connections 5000 192.168.110.201 Enabled Enabled 0 - Pingen Sie vor der Überprüfung der MAC- und ARP-Tabellen eine VM durch die andere VM.
Von App-VM zu Web-VM:
vmware@app-vm$ ping 172.16.10.10 PING 172.16.10.10 (172.16.10.10) 56(84) bytes of data. 64 bytes from 172.16.10.10: icmp_req=1 ttl=64 time=2.605 ms 64 bytes from 172.16.10.10: icmp_req=2 ttl=64 time=1.490 ms 64 bytes from 172.16.10.10: icmp_req=3 ttl=64 time=2.422 msÜberprüfen Sie die MAC-Tabellen.192.168.110.201 # show control-cluster logical-switches mac-table 5000 VNI MAC VTEP-IP Connection-ID 5000 00:50:56:a6:23:ae 192.168.250.52 7192.168.110.201 # show control-cluster logical-switches mac-table 5001 VNI MAC VTEP-IP Connection-ID 5001 00:50:56:a6:8d:72 192.168.250.51 23Überprüfen Sie die ARP-Tabellen.192.168.110.201 # show control-cluster logical-switches arp-table 5000 VNI IP MAC Connection-ID 5000 172.16.20.10 00:50:56:a6:23:ae 7
192.168.110.201 # show control-cluster logical-switches arp-table 5001 VNI IP MAC Connection-ID 5001 172.16.10.10 00:50:56:a6:8d:72 23
Überprüfen Sie die Informationen zum logischen Router. Jede logische Router-Instanz wird durch einen der Controller-Knoten bedient.
Der instance-Unterbefehl des show control-cluster logical-routers-Befehls zeigt eine Liste mit logischen Routern an, die mit diesem Controller verbunden sind.
Der interface-summary-Unterbefehl zeigt die LIFs an, die der Controller vom NSX Manager abgerufen hat. Diese Informationen werden an die Hosts gesendet, die sich in den unter der Transportzone verwalteten Hostclustern befinden.
-
Listen Sie alle logischen Router auf, die mit diesem Controller verbunden sind.
controller # show control-cluster logical-routers instance all LR-Id LR-Name Universal Service-Controller Egress-Locale 0x1388 default+edge-1 false 192.168.110.201 localNotieren Sie die LR-ID und verwenden Sie sie im folgenden Befehl.
-
controller # show control-cluster logical-routers interface-summary 0x1388 Interface Type Id IP[] 13880000000b vxlan 0x1389 172.16.10.1/24 13880000000a vxlan 0x1388 172.16.20.1/24 138800000002 vxlan 0x138a 192.168.10.2/29 -
controller # show control-cluster logical-routers routes 0x1388 Destination Next-Hop[] Preference Locale-Id Source 192.168.100.0/24 192.168.10.1 110 00000000-0000-0000-0000-000000000000 CONTROL_VM 0.0.0.0/0 192.168.10.1 0 00000000-0000-0000-0000-000000000000 CONTROL_VM[root@comp02a:~] esxcfg-route -l VMkernel Routes: Network Netmask Gateway Interface 10.20.20.0 255.255.255.0 Local Subnet vmk1 192.168.210.0 255.255.255.0 Local Subnet vmk0 default 0.0.0.0 192.168.210.1 vmk0 - Zeigen Sie die Verbindungen des Controllers mit dem speziellen VNI an.
192.168.110.203 # show control-cluster logical-switches connection-table 5000 Host-IP Port ID 192.168.110.53 26167 4 192.168.210.52 27645 5 192.168.210.53 40895 6192.168.110.202 # show control-cluster logical-switches connection-table 5001 Host-IP Port ID 192.168.110.53 26167 4 192.168.210.52 27645 5 192.168.210.53 40895 6Bei diesen Host-IP-Adressen handelt es sich nicht um VTEPs, sondern um vmk0-Schnittstellen. Verbindungen zwischen ESXi-Hosts und Controllern werden im Verwaltungsnetzwerk erstellt. Bei den Portnummern hier handelt es sich um flüchtige TCP-Ports, die vom ESXi-Host-IP-Stack zugewiesen werden, wenn der Host eine Verbindung zum Controller herstellt.
-
Auf dem Host können Sie die mit der Portnummer übereinstimmende Controller-Netzwerkverbindung anzeigen.
[[email protected]:~] #esxcli network ip connection list | grep 26167 tcp 0 0 192.168.110.53:26167 192.168.110.101:1234 ESTABLISHED 96416 newreno netcpa-worker
-
Zeigen Sie aktive VNIs auf dem Host an. Beobachten Sie, wie die Ausgabe über die Hosts hinweg unterschiedlich ist. Nicht alle VNIs sind auf allen Hosts aktiv. Ein VNI ist auf einem Host aktiv, wenn der Host eine mit dem logischen Switch verbundene VM aufweist.
[[email protected]:~] # esxcli network vswitch dvs vmware vxlan network list --vds-name Compute_VDS VXLAN ID Multicast IP Control Plane Controller Connection Port Count MAC Entry Count ARP Entry Count VTEP Count -------- ------------------------- ----------------------------------- --------------------- ---------- --------------- --------------- ---------- 5000 N/A (headend replication) Enabled (multicast proxy,ARP proxy) 192.168.110.203 (up) 1 0 0 0 5001 N/A (headend replication) Enabled (multicast proxy,ARP proxy) 192.168.110.202 (up) 1 0 0 0
Hinweis: Führen Sie zur Aktivierung des VXLAN-Namespace in vSphere 6,0 und höher den /etc/init.d/hostd restart-Befehl aus.Für logische Switches im Hybrid- oder Unicast-Modus enthält der esxcli network vswitch dvs vmware vxlan network list --vds-name <vds-name>-Befehl folgende Ausgabe:
- Die Steuerungskomponente ist aktiviert.
- Multicast-Proxy und ARP-Proxy sind aufgeführt. Der AARP-Proxy wird aufgelistet, auch wenn Sie die IP-Ermittlung deaktiviert haben.
- Eine gültige Controller-IP-Adresse ist aufgeführt und die Verbindung ist aktiv.
- Wenn ein logischer Router mit dem ESXi-Host verbunden ist, beträgt die Portanzahl mindestens 1, auch wenn auf dem mit dem logischen Switch verbundenen Host keine VMs vorhanden sind. Dieser eine Port ist der vdrPort, bei welchem es sich um einen speziellen dvPort handelt, der mit dem Kernelmodul des logischen Routers auf dem ESXi-Host verbunden ist.
-
Pingen Sie zuerst mit einer VM die andere VM auf einem anderen Subnetz an und zeigen Sie anschließend die MAC-Tabelle an. Beachten Sie, dass „Inner MAC“ der Eintrag der VM ist, während sich „Outer MAC“ und „Outer IP“ auf den VTEP beziehen.
~ # esxcli network vswitch dvs vmware vxlan network mac list --vds-name=Compute_VDS --vxlan-id=5000 Inner MAC Outer MAC Outer IP Flags ----------------- ----------------- -------------- -------- 00:50:56:a6:23:ae 00:50:56:6a:65:c2 192.168.250.52 00000111~ # esxcli network vswitch dvs vmware vxlan network mac list --vds-name=Compute_VDS --vxlan-id=5001 Inner MAC Outer MAC Outer IP Flags ----------------- ----------------- -------------- -------- 02:50:56:56:44:52 00:50:56:6a:65:c2 192.168.250.52 00000101 00:50:56:f0:d7:e4 00:50:56:6a:65:c2 192.168.250.52 00000111
Nächste Maßnahme
Wenn Sie eine NSX Edge-Appliance installieren, aktiviert NSX das automatische Starten/Herunterfahren von virtuellen Maschinen auf dem Host, wenn die vSphere HA auf dem Cluster deaktiviert ist. Wenn die Appliance-VMs später auf andere Hosts im Cluster migriert werden, ist auf den neuen Hosts das automatische Starten/Herunterfahren von virtuellen Maschinen möglicherweise nicht aktiviert. Aus diesem Grund sollten Sie bei der Installation von NSX Edge-Appliances auf Clustern, auf denen die vSphere HA deaktiviert ist, alle Hosts im Cluster überprüfen, um sicherzustellen, dass das automatische Starten/Herunterfahren aktiviert ist. Weitere Informationen erhalten Sie unter „Bearbeiten der Einstellungen zum Starten/Herunterfahren virtueller Maschinen“ im Dokument Verwaltung virtueller vSphere-Maschinen.
Doppelklicken Sie nach der Bereitstellung des Routers auf die ID des logischen Routers, um weitere Einstellungen zu konfigurieren, wie z. B. Schnittstellen, Routing, Firewall, Bridging und DHCP-Relay.
