可以使用 PXE 服务器在裸机服务器上自动安装 NSX Edge,或者使用 ISO 文件将 NSX Edge 安装在裸机服务器上。
裸机 NSX Edge 节点是运行特殊版本的 NSX Edge 软件的专用物理服务器。裸机 NSX Edge 节点需要一个支持数据平面开发工具包 (DPDK) 的网卡。VMware 将维护与各种供应商网卡的兼容性列表。请参见裸机服务器系统要求。
图中所示的 NSX Edge 裸机具有单个 N-VDS 以及两个数据路径接口和两个专用网卡,以实现管理平面高可用性。
图中所示的 NSX Edge 节点具有一个 NVDS,每个节点具有两个数据路径接口。裸机 NSX Edge 节点可以配置 2 个以上数据路径接口,具体取决于服务器上可用的网卡数量。裸机 NSX Edge 节点使用 pNIC 作为上行链路来直接连接到机架交换机的顶部。要为裸机 Edge 管理实现高可用性,请将服务器上的两个 pNIC 配置为活动/备用 Linux 绑定。
Edge 上的 CPU 将分配为用于提供路由和有状态服务的数据路径 (DP) CPU 或用于提供负载均衡和 VPN 服务的服务 CPU。
对于裸机 Edge 节点,多 NUMA 节点服务器的第一个节点中的所有内核都将分配给 NSX-T Data Center 数据路径。如果裸机只有一个 NUMA 节点,则会将 50% 的内核分配给 NSX-T Data Center 数据路径。
裸机 NSX Edge节点最多支持两个 NUMA 节点。子 NUMA 集群功能将堆内存的插槽从两个 NUMA 域更改为四个 NUMA 域。此更改会限制分配给每个套接字的堆内存大小,并导致数据路径所需的堆内存不足。您必须在 BIOS 中禁用子 NUMA 功能。对 BIOS 所做的任何更改都需要重新引导。
要检查是否启用子 NUMA 功能,请以 root 用户身份登录到裸机 NSX Edge,然后运行 lscpu。输出将捕获到支持包中。如果每个堆具有两个以上的插槽,则意味着已启用子 NUMA 功能,并且必须禁用该功能。
- 在裸机 NSX Edge 节点上配置 LACP LAG 绑定时,数据路径内核(备用网卡)应属于同一个 NUMA 节点,以便在两个设备上实现负载均衡。如果构成绑定的设备跨越多个 NUMA 节点,则绑定将仅使用作为本地 NUMA 节点 (0) 的网络设备 CPU 来传输数据包。因此,并非所有设备都不用于均衡从绑定设备发出的流量。
在这种情况下,故障切换仍然适用:如果连接到本地 NUMA 节点的设备已关闭,则绑定会将流量发送到另一台设备,即使它不在 NUMA 本地也是如此。
运行 get datapath 命令来查看与每个数据路径接口相关联的 NUMA 节点。要将与数据路径关联的网卡移至单个 NUMA 节点,需要通过 BIOS 对服务器进行物理重新配置。
在安装裸机 Edge 节点时,将为管理保留一个专用接口。此配置称为带外管理。如果需要冗余,可以使用两个网卡以提供管理平面高可用性。裸机 Edge 还支持带内管理,如图所示,在带内管理配置中,管理流量可以利用某个用于覆盖网络或外部(南北向)流量的接口。
前提条件
- 通过编辑 BIOS 设置禁用子 NUMA 集群。NSX-T Data Center 不支持子 NUMA 集群。有关更多详细信息,请参见知识库文章:https://kb.vmware.com/s/article/91790。