NSX Advanced Load Balancer 为虚拟服务添加负载均衡容量的方法之一是，将虚拟服务放置在额外的服务引擎 (SE) 上。
例如，可以在需要时将虚拟服务扩展到 SE 组中的额外 SE，以便为该虚拟服务添加容量，并在不再需要时移除（缩减）这些额外的 SE。在这种情况下，虚拟服务的主 SE 协调在其他 SE 之间分配虚拟服务流量的过程，同时还继续处理虚拟服务的一些流量。
缩放虚拟服务的一种替代方法是，将边界网关协议 (Border Gateway Protocol, BGP) 功能路由运行状况注入 (Route Health Injection, RHI) 与第 3 层路由功能等价多路径 (ECMP) 一起使用。通过将路由运行状况注入 (RHI) 与 ECMP 一起使用以进行虚拟服务缩放，可以避免在 SE 之间协调扩展的流量时在主 SE 上产生管理开销。
在传统（活动/备用）和弹性（活动/活动和 N+M）高可用性模式下支持 BGP。
如果虚拟服务被其运行状况监控器或由于任何其他原因标记为关闭，NSX Advanced Load Balancer SE 将撤销通告到其虚拟 IP (VIP) 的路由，并在将虚拟服务再次标记为启动时才恢复路由通告。
限制说明
- 服务引擎计数：
-
默认情况下，NSX Advanced Load Balancer 为每个虚拟服务最多支持 4 个 SE，可以将其增加到最多 64 个 SE。每个 SE 使用 RHI 通告到虚拟服务 VIP 地址的
/32主机路由，并且可以接受流量。上游路由器使用 ECMP 选择到其中的一个 SE 的路径。SE 计数限制是由上游路由器上支持的 ECMP 施加的。如果路由器最多支持 64 个等价路由，则最多可以在 64 个 SE 上支持启用了 RHI 的虚拟服务。同样，如果路由器支持较少数量的路径，启用了 RHI 的虚拟服务计数将会较低。
- 子网和对等体：
-
NSX Advanced Load Balancer 支持 4 个不同的子网，在这 4 个子网中具有任意数量的对等体。因此，可以在超过 4 个对等体上通告一个 VIP，但前提是这些对等体属于 4 个或更少的子网。为了说明这一点，请参见以下用例：
可以向 8 个对等体通告一个 VIP，这些对等体全部属于一个子网。
可以向 4 对对等体（同样是 8 个对等体）通告一个 VIP，每对对等体属于一个单独的子网。
支持的生态系统
在以下环境中支持基于 BGP 的缩放：
VMware
Linux 服务器（裸机）云
OpenShift 和 Kubernetes
注：不支持与 OpenStack 路由器建立对等连接。不过，可以与外部路由器建立对等连接。
基于 BGP 的缩放
NSX Advanced Load Balancer 支持使用以下路由功能动态执行虚拟服务负载均衡和缩放：
- 路由运行状况注入 (RHI)：
-
RHI 允许流量到达与其 SE 不在同一子网中的 VIP。虚拟服务所在的 NSX Advanced Load Balancer 服务引擎 (SE) 通告到该虚拟服务的 VIP 的主机路由，并将 SE 的 IP 地址作为下一跳路由器地址。根据该更新，连接到 NSX Advanced Load Balancer SE 的 BGP 对等体更新其路由表，以将 NSX Advanced Load Balancer SE 作为到达 VIP 的下一跳。对等 BGP 路由器还向其上游 BGP 对等体通告自身以作为到达 VIP 的下一跳。
- 等价多路径 (ECMP)：
-
在到 SE 的多个物理链路之间共享流量负载以提供更高的 VIP 带宽。如果 NSX Advanced Load Balancer SE 具有到 BGP 对等体的多个链路，NSX Advanced Load Balancer SE 将在每个链路上通告 VIP 主机路由。BGP 对等路由器看到多个到虚拟服务 VIP 的下一跳路径，并使用 ECMP 在路径之间均衡流量。如果将虚拟服务扩展到多个 NSX Advanced Load Balancer SE，每个 SE 将在到对等 BGP 路由器的每个链路上通告 VIP。
如果将启用了 BGP 的虚拟服务放置在其 NSX Advanced Load Balancer SE 上，该 SE 将与它的每个下一跳 BGP 对等路由器建立 BGP 对等会话。然后，NSX Advanced Load Balancer SE 通告到 VIP 的主机路由（/32 网络掩码），以便为虚拟服务的 VIP 执行 RHI。NSX Advanced Load Balancer SE 将通告作为 BGP 路由更新发送到它的每个 BGP 对等体。在 BGP 对等体从 NSX Advanced Load Balancer SE 收到该更新时，对等体使用将 SE 作为下一跳的 VIP 的路由更新其路由表。通常，BGP 对等体还会向它的其他 BGP 对等体通告 VIP 路由。
BGP 对等体 IP 地址和本地自治系统 (AS) 编号以及一些其他设置是在 NSX Advanced Load Balancer 控制器 上的 BGP 配置文件中指定的。RHI 支持是在单个虚拟服务的配置中禁用（默认）或启用的。如果 NSX Advanced Load Balancer SE 具有到同一 BGP 对等体的多个链路，这还会为 VIP 启用 ECMP 支持。NSX Advanced Load Balancer SE 在与 BGP 对等体的每个 NSX Advanced Load Balancer SE 接口上通告到 VIP 的单独主机路由。
如果 NSX Advanced Load Balancer SE 发生故障，BGP 对等体将撤销 NSX Advanced Load Balancer SE 向它们通告的路由。
BGP 配置文件修改
BGP 对等体更改的处理方式如下所示：
如果将新的对等体添加到 BGP 配置文件中，将向新的 BGP 对等路由器通告虚拟服务 IP，而无需停用或启用虚拟服务。
如果从 BGP 配置文件中删除一个 BGP 对等体，将撤销向该 BGP 对等体通告的任何虚拟服务 IP。
在更新 BGP 对等体 IP 时，它将作为 BGP 对等体添加/删除进行处理。
BGP 上游路由器配置
对于大型设置，BGP 控制平面可能会独占路由器上的 CPU。需要更改 CoPP 策略才能在路由器上具有更多 BGP 数据包，否则，在发生变动时，这可能导致在路由器上丢弃 BGP 数据包。
如果为一组不同的虚拟服务 VIP 通告一些唯一的 SE BGP 下一跳，路由器上的 ECMP 路由组或 ECMP 下一跳组可能会耗尽。在发生这种耗尽情况时，路由器可能会改用单个 SE 下一跳，从而导致流量问题。
示例配置
以下是 Dell S4048 交换机上的示例配置，用于添加 5k 个网络条目和 20k 个路径：
w1g27-avi-s4048-1#show ip protocol-queue-mapping Protocol Src-Port Dst-Port TcpFlag Queue EgPort Rate (kbps) -------- -------- -------- ------- ----- ------ ----------- TCP (BGP) any/179 179/any _ Q9 _ 10000 UDP (DHCP) 67/68 68/67 _ Q10 _ _ UDP (DHCP-R) 67 67 _ Q10 _ _ TCP (FTP) any 21 _ Q6 _ _ ICMP any any _ Q6 _ _ IGMP any any _ Q11 _ _ TCP (MSDP) any/639 639/any _ Q11 _ _ UDP (NTP) any 123 _ Q6 _ _ OSPF any any _ Q9 _ _ PIM any any _ Q11 _ _ UDP (RIP) any 520 _ Q9 _ _ TCP (SSH) any 22 _ Q6 _ _ TCP (TELNET) any 23 _ Q6 _ _ VRRP any any _ Q10 _ _ MCAST any any _ Q2 _ _ w1g27-avi-s4048-1#show cpu-queue rate cp Service-Queue Rate (PPS) Burst (Packets) -------------- ----------- ---------- Q0 600 512 Q1 1000 50 Q2 300 50 Q3 1300 50 Q4 2000 50 Q5 400 50 Q6 400 50 Q7 400 50 Q8 600 50 Q9 30000 40000 Q10 600 50 Q11 300 50
BGP 支持的 SE 路由器链路类型
下图显示了在 NSX Advanced Load Balancer 和 BGP 对等路由器之间支持的链路类型：
在 BGP 对等体和 NSX Advanced Load Balancer SE 之间的以下链路类型上支持 BGP：
到 VIP 的主机路由（
/30或/31掩码长度），并将 NSX Advanced Load Balancer SE 作为下一跳。在路由器中配置了交换虚拟接口 (Switched Virtual Interface, SVI) 的网络路由（
/24掩码长度）子网。第 2 层端口通道（在下一跳交换机或路由器上配置为单个逻辑链路的单独物理链路）。
多个第 3 层接口，位于单独的子网（
/31或具有 SVI 的/24）中。在每个 NSX Advanced Load Balancer SE 第 3 层接口和 BGP 对等体之间建立了单独的 BGP 对等会话。
每个 SE 可以具有多个 BGP 对等体。例如，在单独的第 3 层子网中具有接口的 SE 可以在每个接口上与不同的 BGP 对等体建立对等会话。不支持通过位于同一子网和同一 VLAN 的单独第 3 层接口在 NSX Advanced Load Balancer SE 和 BGP 对等体之间建立连接。
使用多个到 BGP 对等体的链路可以为 VIP 提供更高的吞吐量。也可以扩展虚拟服务以获得更高的吞吐量。在任一情况下，通过每个链路向 BGP 对等体通告到 VIP 的单独主机路由，并将 NSX Advanced Load Balancer SE 作为下一跳地址。
IPv6 支持该功能。
为了使调试变得更容易，可以从 NSX Advanced Load Balancer 控制器 Shell 中查看一些 BGP 命令。有关更多信息，请参见 BGP/BFD 可见性。
可以在虚拟服务关闭时选择撤销 BGP 路由
如果通过 BGP 通告 VIP 的虚拟服务关闭，则会从 BGP 中移除其 VIP，因此，无法访问该虚拟服务。在 NSX Advanced Load Balancer 20.1 版中，添加了在虚拟服务关闭时可以选择撤销 BGP 路由的功能。
以下是添加的功能：
字段
VirtualService advertise_down_vs
配置
要启用该功能，您可以按以下方式进行配置：
[admin:amit-ctrl-bgp]: virtualservice> advertise_down_vs [admin:amit-ctrl-bgp]: virtualservice> save
要禁用该功能，您可以按以下方式进行配置：
[admin:amit-ctrl-bgp]: virtualservice> no advertise_down_vs [admin:amit-ctrl-bgp]: virtualservice>save
如果虚拟服务已关闭，则所做的配置更改不会影响该服务。如果以后关闭虚拟服务，将应用这些更改。在这些情况下，您必须停用虚拟服务，然后启用虚拟服务并应用配置。如果
advertise_down_vs为 False，remove_listening_port_on_vs_down功能将不起作用。要使自定义操作（例如 HTTP 重定向、显示错误页面等）处理关闭的虚拟服务，
VirtualService.remove_listening_port_on_vs_down必须为 False。
将相同的 BGP 对等体添加到不同 VRF 的用例
您可以添加阻止功能以禁止：
添加的 BGP 对等体所属的网络具有与要添加该对等体的 VRF 不同的 VRF
在 BGP 配置文件中使用网络时更改网络 VRF
show serviceengine backend_tp_segrp0-se-zcztm vnicdb 输出：
| vnic[3] | | | if_name | avi_eth5 | | linux_name | eth3 | | mac_address | 00:50:56:86:0f:c8 | | pci_id | 0000:0b:00.0 | | mtu | 1500 | | dhcp_enabled | True | | enabled | True | | connected | True | | network_uuid | dvportgroup-2404-cloud-d992824d-d055-4051-94f8-5abe4a323231 | | nw[1] | | | ip | fe80::250:56ff:fe86:fc8/64 | | mode | DHCP | | nw[2] | | | ip | 10.160.4.16/24 | | mode | DHCP | | is_mgmt | False | | is_complete | True | | avi_internal_network | False | | enabled_flag | False | | running_flag | True | | pushed_to_dataplane | True | | consumed_by_dataplane | True | | pushed_to_controller | True | | can_se_dp_takeover | True | | vrf_ref | T-0-default | | vrf_id | 2 | | ip6_autocfg_enabled | False 11:46 | vnic[7] | | | if_name | avi_eth6 | | linux_name | eth4 | | mac_address | 00:50:56:86:12:0e | | pci_id | 0000:0c:00.0 | | mtu | 1500 | | dhcp_enabled | True | | enabled | True | | connected | True | | network_uuid | dvportgroup-69-cloud-d992824d-d055-4051-94f8-5abe4a323231 | | nw[1] | | | ip | 10.160.4.21/24 | | mode | DHCP | | nw[2] | | | ip | 172.16.1.90/32 | | mode | VIP | | ref_cnt | 1 | | nw[3] | | | ip | fe80::250:56ff:fe86:120e/64 | | mode | DHCP | | is_mgmt | False | | is_complete | True | | avi_internal_network | False | | enabled_flag | False | | running_flag | True | | pushed_to_dataplane | True | | consumed_by_dataplane | True | | pushed_to_controller | True | | can_se_dp_takeover | True | | vrf_ref | T-0-default | | vrf_id | 2 | | ip6_autocfg_enabled | False |
[T-0:tp_bm-ctlr1]: > show vrfcontext +-------------+-------------------------------------------------+ | Name | UUID | +-------------+-------------------------------------------------+ | global | vrfcontext-0287e5ea-a731-4064-a333-a27122d2683a | | management | vrfcontext-c3be6b14-d51d-45fc-816f-73e26897ce84 | | management | vrfcontext-1253beae-4a29-4488-80d4-65a732d42bb4 | | global | vrfcontext-e2fb3cae-f4a6-48d5-85be-cb06293608d6 | | T-0-default | vrfcontext-1de964c7-3b6b-4561-9005-8f537db496ea | | T-0-VRF | vrfcontext-04bb20ef-1cbc-498b-b5ce-2abf68bae321 | | T-1-default | vrfcontext-9bea0022-0c15-44ea-8813-cfd93f559261 | | T-1-VRF | vrfcontext-18821ea1-e1c7-4333-a72b-598c54c584d5 | +-------------+-------------------------------------------------+
[T-0:tp_bm-ctlr1]: > show vrfcontext T-0-default +----------------------------+-------------------------------------------------+ | Field | Value | +----------------------------+-------------------------------------------------+ | uuid | vrfcontext-1de964c7-3b6b-4561-9005-8f537db496ea | | name | T-0-default | | bgp_profile | | | local_as | 65000 | | ibgp | True | | peers[1] | | | remote_as | 65000 | | peer_ip | 10.160.4.1 | | subnet | 10.160.4.0/24 | | md5_secret | | | bfd | True | | network_ref | PG-4 | | advertise_vip | True | | advertise_snat_ip | False | | advertisement_interval | 5 | | connect_timer | 10 | | ebgp_multihop | 0 | | shutdown | False | | peers[2] | | | remote_as | 65000 | | peer_ip | 10.160.2.1 | | subnet | 10.160.2.0/24 | | md5_secret | | | bfd | True | | network_ref | PG-2 | | advertise_vip | False | | advertise_snat_ip | True | | advertisement_interval | 5 | | connect_timer | 10 | | ebgp_multihop | 0 | | shutdown | False | | keepalive_interval | 60 | | hold_time | 180 | | send_community | True | | shutdown | False | | system_default | False | | lldp_enable | True | | tenant_ref | admin | | cloud_ref | backend_vcenter | +----------------------------+-------------------------------------------------+
租户（启用了租户 VRF）特定的 SE 在 VRF 上下文 (T-0-default) 中配置了一个 PG-4 接口，该接口属于租户，而不是配置该 PG-4 的实际 VRF 上下文 (global)。
从放置的角度看，如果您为虚拟服务的服务引擎启动添加 vNIC 操作，vNIC 的 VRF 将始终为虚拟服务的 VRF。在以下情况下，该更改将阻止您将 BGP 对等体添加到
vrfcontext中：该 BGP 对等体属于具有不同vrfcontext的网络。该更改是必要的，因为该配置可能会导致丢弃流量。由于 VRF-A 具有的 BGP 对等体属于 VRF-B 中的网络没有特定的用例，因此，不允许您进行任何配置更改。
此外，您可以更改现有网络的 VRF，如果在该网络的 VRF 中具有属于该网络的 BGP 对等体，将阻止该更改。
双向转发检测 (BFD)
支持 BFD 以快速检测发生故障的链路。通过使用 BFD，链路两端的网络对等体可以快速检测链路故障并进行恢复。通常，与等待 BGP 检测关闭链路相比，BFD 可以更快地检测并修复中断的链路。
例如，如果 NSX Advanced Load Balancer SE 发生故障，BGP 对等路由器上的 BFD 可以快速检测并纠正链路故障。
BFD 功能支持 BGP 多跳实施。
缩放
支持扩展/缩减虚拟服务。在该示例中，放置在 10.10.10.x 网络中的 NSX Advanced Load Balancer SE 上的虚拟服务扩展到 3 个额外的 NSX Advanced Load Balancer SE。
扩展/缩减期间的流量弹性
流是一个 5 元组，例如，src-IP、src-port、dst-IP、dst-port 和 protocol。路由器对 5 元组进行哈希处理以选择要使用的等价路径。在进行 SE 扩展时，将为路由器提供另一个要使用的路径，而其哈希算法可能会做出不同的选择，从而中断现有的流量。为了正常处理这种基于 BGP 的扩展问题，NSX Advanced Load Balancer 支持使用 IP-in-IP (IPIP) 隧道的弹性流处理。以下序列显示了该过程是如何完成的。
图 1 显示虚拟服务放置在 4 个 SE 上，并在客户端和 SE-A 之间传输流量。在图 2 中，扩展到 SE-E。这会更改路由器上的哈希值。将对现有流量重新进行哈希处理以传输到其他 SE。在该特定示例中，假设它是 SE-C。
在 NSX Advanced Load Balancer 实施中，SE-C 向所有其他 SE 发送流量探测（图 4）。图 5 显示 SE-A 响应以声明所述流量的所有权。在图 6 中，SE-C 使用 IPIP 隧道将该流的所有数据包发送到 SE-A。
在图 7 中，SE-A 继续处理该流量，并将其响应直接发送到客户端。
多宿主 BGP 虚拟服务的流量弹性
如果 BGP 虚拟服务配置为向前端的多个对等体通告其 VIP，并向后端的多个对等体通告与该虚拟服务关联的 SNAT IP，则支持流量弹性。
在这种设置中，在其中的一个链路关闭时，BGP 撤销来自该特定网卡的路由，从而导致该流量重新进行哈希处理以传输到同一 SE 上的另一个接口或传输到另一个 SE。接收流量的新 SE 尝试使用流量探测以恢复流量，这会由于接口关闭而失败。
前端流量和后端流量都存在该问题。
要恢复前端流量，这些流量所属的 BGP 虚拟服务必须放置在服务引擎中的多个网卡上。
要恢复后端流量，虚拟服务必须配置了 SNAT IP，并且必须通过 BGP 向后端的多个对等体通告该虚拟服务。
恢复前端流量
- 同一 SE 中的流恢复
-
如果接口关闭，并不会删除 FT 条目。如果流量传输到另一个接口，则会触发流量探测，这会将流量从旧流量表迁移到流量所在的新接口。
将向控制器报告接口关闭事件，并且控制器从接口中移除 VIP 放置。这会导致重置主虚拟服务条目。如果同一流量现在传输到新接口，并且虚拟服务最初放置在多个接口上，则会触发流量探测和流量迁移。
- 扩展的 SE 上的流恢复
-
如果流量传输到新的 SE，则会触发远程流量探测。将在流量探测消息中添加一个称为 relay 的新标记。该标记表示所有接收接口需要将流量探测中继到流量可能所在的其他流量表。在检测到虚拟服务是扩展的 BGP 虚拟服务时，将在流量探测的发送方设置该标记。
在接收 SE 上，这些消息将中继到其他流量表，从而导致流量迁移。因此，来自新 SE 的后续流量探测将获得响应，因为流量现在位于已启动并正在运行的接口上。
如果在流量探测接收 SE 上具有多个接口，它们都会触发流量迁移。
恢复后端流
只有在后端连接使用 SNAT IP 时，才能迁移后端流。如果在后端配置了多个 BGP 对等体，并且可以通过多个路由到达服务器，则会将 SNAT IP 放置在所有接口上。此外，还会在后端的所有接口上创建流量表条目。
这会导致在接口发生故障时恢复流量，并且流量传输到具有流量表条目的另一个接口。
消息摘要 5 (MD5) 身份验证
BGP 支持使用消息摘要 5 (MD5) 算法的身份验证机制。如果启用了身份验证，将验证属于在对等体之间交换的 BGP 的任何 TCP 分段，并且仅在成功进行身份验证时才接受该分段。要成功进行身份验证，两个对等体必须配置了相同的密码。如果身份验证失败，则不会建立 BGP 对等会话。BGP 身份验证可能是非常有用的，因为它使任何恶意用户很难破坏网络路由表。
为 BGP 启用 MD5 身份验证
要启用 MD5 身份验证，请在相应的 BGP 对等体配置中指定 md5_secret。MD5 支持扩展到 OpenShift 云，其中，服务引擎作为 Docker 容器运行，但与伪装为主机的其他路由器建立对等连接。
Mesos 支持
Mesos 部署中的南北向接口支持 BGP。处理虚拟服务的 SE 容器将与云的 BGP 对等连接配置文件中配置的 BGP 路由器建立 BGP 对等会话。然后，SE 向 BGP 对等体通告到 VIP 的 /64 路由（主机路由）以注入 /64。
以下要求适用于 BGP 对等路由器：
BGP 对等体必须在其 BGP 邻居配置中允许 SE 的 IP 接口和子网。SE 将启动与 BGP 路由器的对等连接。
对于 eBGP，对等路由器将检测为 BGP 会话递减的生存时间 (Time-To-Live, TTL) 值。这可能会禁止该会话启动。可以设置 eBGP 多跳 TTL 以防止出现该问题。例如，在 Juniper 路由器上，eBGP 多跳 TTL 必须设置为 64。
要启用 MD5 身份验证，请在相应的 BGP 对等体配置中选择 md5_secret。MD5 支持扩展到 OpenShift 云，其中，服务引擎作为 Docker 容器运行，但与伪装为主机的其他路由器建立对等连接。
在 NSX Advanced Load Balancer 中启用 BGP 功能
在 NSX Advanced Load Balancer 中配置 BGP 功能是使用以下方法完成的：配置一个 BGP 配置文件，并在虚拟服务的配置中启用 RHI。
配置 BGP 配置文件。BGP 配置文件指定 NSX Advanced Load Balancer SE 和每个对等 BGP 路由器所在的本地自治系统 (AS) ID，以及每个对等 BGP 路由器的 IP 地址。
使用虚拟服务配置的高级选项卡上的 BGP 选项启用通告 VIP。该选项通告到 VIP 地址的主机路由，并将 NSX Advanced Load Balancer SE 作为下一跳。
如果在 LSC 带内的 global VRF 上配置了 BGP，只有在 SE 上配置了虚拟服务时，才会在 SE 上应用 BGP 配置。直到那时，才会在 SE 和对等路由器之间建立对等连接。
