一、产生背景1在STP生成树协议或IRF智能弹性架构/堆叠STP 的痛点会阻塞链路导致带宽利用率只有一半且收敛慢。IRF堆叠的痛点两台设备融合成一个控制平面如果主控引擎出现软件故障或者在进行设备升级重启时二整个集群可能会受到影响升级风险大。2M-LAG 的优势M-LAG控制平面保持独立各自有独立的路由表、MAC表仅在数据平面和协议平面进行状态同步。这样既实现了跨设备的链路聚合100%带宽利用率又保证了一台设备升级或故障时另一台设备完全不受影响做到了真正的“无损升级”和高可靠性。二、M-LAG DRNI) 的核心概念与术语1M-LAG 系统由两台设备主设备 Primary 备设备 Secondary通过 peer-link 和 Keepalive 组成一个虚拟系统。2M-LAG 接口与外部设备相连的二层聚合接口必须用动态聚合。同一 M-LAG 组编号的两台设备接口构成一个逻辑聚合组。3peer-link 链路两台 M-LAG 设备间的唯一互联链路可为聚合接口或 Tunnel。作用交互 DRCP 协议报文同步 MAC/ARP/ND/DHCP 等表项传输跨设备流量故障绕行4peer-link 接口唯一内部控制链路接口必须配置为二层动态聚合不能是 M-LAG 接口。5Keepalive 链路三层互通链路常用管理口或 VLAN 接口用于 peer-link 故障时的双主检测交互 UDP Keepalive 报文默认端口 6400。6DRCP 协议Distributed Relay Control ProtocolM-LAG 的核心控制协议。通过 DRCPDU 报文完成配对、主备协商、配置同步。支持短超时3s每1s发一次和长超时90s每30s发一次。7MAD 机制Multi-Active Detection双主检测系统分裂时自动将非保留接口置为MAD DOWN状态仅保留接口peer-link、M-LAG 接口、管理口等允许转发避免双主脑裂。8系统参数必须一致system-mac相同、system-number不同、system-priority相同。三、网络模型典型组网分为1双归接入主流服务器/下级设备同时连两台 M-LAG 设备实现负载分担冗余。2单归接入外部设备只连一台设备表项仍通过 peer-link 同步提供备份路径。3多级 M-LAG接入-汇聚-核心层层 M-LAG汇聚层常做双活网关。4EVPN VXLAN 支持两台 VTEP 组成 M-LAG 虚拟 VTEP支持 VXLAN 隧道作为 peer-link。四、 M-LAG 系统建立M-LAG 通过DRCP 协议Distributed Relay Control Protocol运行在 peer-link 上和RLINK 可靠通道Eth.type 8843实现两台设备虚拟成一台逻辑设备。整个核心流程分为系统建立、主备协商、表项同步、数据转发、故障切换五个阶段全部基于 peer-link Keepalive 双保险确保设备级双活冗余。1. 系统建立DRCP 协商 配对两台设备A、B完成 system-mac、system-number、system-priority、peer-link、M-LAG 接口等配置后通过 peer-link 定期互发DRCPDU报文Eth.type 8952无 VLAN tag点对点。交换信息包括系统信息MAC/Priority/Number、端口信息M-LAG ID、本端/对端端口、状态、角色信息Role/RolePriority/Bridge MAC。本端收到对端 DRCPDU 后判断 system-mac、M-LAG 组号、聚合模式、KEY 等是否一致。配置匹配 →M-LAG 系统配对成功不匹配 → 系统无法建立。 DRCP 支持短超时 3s/每秒发一次 或 长超时 90s/每30s发一次可通过 m-lag drcp period short 加速2. 主备角色协商选举配对成功后按以下严格顺序比较优胜者成为Primary主另一台为Secondary从比较设备所有M-LAG接口的状态有可工作M-LAG接口的一端为优比较计算前角色Primary端优比较M-LAGMADDOWN状态不存在处于M-LAGMADDOWN状态的接口的一端优比较设备健康状况健康值越小越优比较设备角色优先级默认32768越高越优值越小优先级越高桥 MAC小值优先 角色确定后不抢占后加入设备不会抢主。同时通过 Keepalive 链路UDP默认 1s 发包、5s 超时检测邻居存活。3. 配置一致性检查 表项同步Type1 检查关键转发配置如 LACP 模式、VLAN、STP不一致 → Secondary 侧对应 M-LAG 接口自动 DOWN打印 LOG。全局配置配置项一致性检查的具体内容关键原因Peer-link 接口链路类型检查是 Access、Hybrid 还是 Trunk两端封装协议必须一致否则二层流量无法互通。Peer-link 接口的 PVID检查 PVID缺省 VLAN ID是否相同防止 VLAN 流量在跨越 Peer-link 时发生 VLAN ID 错乱。生成树STP功能检查全局 STP 开关以及 VLAN 内的 STP 状态只要一方开启而另一方关闭极易形成物理环路。生成树模式检查是 STP、RSTP、PVST 还是 MSTP不同模式的 BPDU 报文格式不同无法协同工作。MST 域相关配置域名、修订级别Revision、VLAN 与实例映射这是 MSTP 正常运行的基础映射不一致会导致生成树拓扑计算错误。接口配置配置项一致性检查内容为什么必须一致聚合组的工作模式静态聚合 vs 动态聚合 (LACP)如果一边是手工静态聚合另一边是 LACP 动态协商下游设备会因为协议失配导致链路震荡或流量黑洞。接口生成树功能接口上 STP 是否开启接口级别的 STP 状态必须同步。若一边参与 STP 计算而另一边透传会导致逻辑拓扑不闭合产生二层环路。接口的链路类型Access、Hybrid 或 Trunk定义了接口处理 Tag 的方式。不一致会导致流量进入交换机后VLAN 标签剥离或添加逻辑混乱。接口的 PVIDM-LAG 接口的缺省 VLANPVID 决定了收到的 Untagged 报文进入哪个 VLAN。如果不一致同一个终端发出的流量在两台交换机上会进入不同的 VLAN 广播域。Type2 检查一般配置不一致仅打印 LOG不影响转发。通过RLINK 通道可靠、可重传、有 seq实时/批量同步MAC/ARP/ND/DHCP/组播表项STP 根信息、协议报文单归接入表项也同步到对端全局配置配置项内容一致性检查分配给接口的 VLAN检查对等链路接口所属的VLAN 。它首先比较已标记的 VLAN然后比较接口上的未标记 VLAN。VLAN接口检查 VLAN 接口VBDIF/SVI是否处于启用状态并确保对等链路接口是该 VLAN 的成员。VLAN接口状态检查 VLAN 接口是否已被手动关闭管理员关闭。VLAN接口IPv4地址检查是否已为 VLAN 接口配置IPv4 地址。接口配置配置项内容一致性检查分配给接口的 VLAN检查M-LAG 成员接口上允许的 VLAN 。它首先比较已标记的 VLAN然后比较未标记的PVIDVLAN。端口速度是选择参考端口的首要考虑因素。检查 M-LAG 接口上是否启用了使用端口速度来确定“参考端口”决定 LAG 运行状态的端口的功能。选择活动端口时忽略端口速度检查在 M-LAG 中选择活动成员端口时忽略端口速度的配置在两个对等体之间是否一致。4. 正常数据转发机制双活负载分担两台设备无主备转发差异同时转发1南北向流量下行服务器 ↔ 上行网络下行网络侧流量哈希到两台 M-LAG 接口本地优先转发。上行本地出接口直接转发。2东西向流量服务器间本地有出接口 → 本地转发最高效。无出接口 → 通过 peer-link 绕行对端转发。3BUM 流量未知单播/广播/组播关键防环机制单向隔离——从 peer-link 进来的流量绝不从 M-LAG 接口出去避免环路。广播/组播通过表项同步 peer-link 备份转发。5. 故障切换机制秒级无感知1M-LAG 接口故障网络侧流量仍发给两台故障侧通过 peer-link 把流量交给对端对端接管全部转发。恢复后自动恢复。2peer-link 故障Keepalive 正常触发MADMulti-Active DetectionSecondary 除保留接口peer-link、M-LAG、管理口等外全部置MAD DOWN停止转发。Primary 独占转发。恢复后延迟 restore-delay默认 30s完成表项同步后接口自动 UP。单设备故障主设备故障 → Secondary 瞬间升级为主继续全量转发备设备故障 → 主设备不受影响。上行链路故障表项已同步可绕行对端可配 Monitor Link 联动 M-LAG 接口 DOWN 提升效率。二次故障peer-link Keepalive 同时 down缺省可能双主风险高。推荐开启MAD DOWN 保持或独立工作模式LACP System ID 切换为独立参数仅一台转发。总结核心一句话 M-LAG DRCP协商配对角色选举 RLINK表项同步 Keepalive双主检测 MAD防脑裂 单向隔离防环实现真正的设备级双活故障切换 1s用户无感知。五、实验与配置1.单级M-LAG1系统配置[DSW1]m-lag system-mac 12-12-12 #要求一致 [DSW1]m-lag system-number 1 #要求唯一 [DSW1]m-lag system-priority 4096 #要求一致 [DSW1]m-lag consistency-check disable #关闭配置一致性检查模拟器要敲2peer-link链路[DSW1]int Bridge-Aggregation 12 [DSW1-Bridge-Aggregation12]link-aggregation mode dynamic [DSW1]int range g1/0/3 to g1/0/4 [DSW1-if-range]port link-aggregation group 12 [DSW1-if-range]int br12 [DSW1-Bridge-Aggregation12]port m-lag peer-link 13keepalive链路[DSW1]int g1/0/5 [DSW1-GigabitEthernet1/0/5]port link-mode route [DSW1-GigabitEthernet1/0/5]ip address 1.1.1.1 24 [DSW1]m-lag keepalive ip destination 1.1.1.2 source 1.1.1.1 [DSW1]m-lag mad exclude interface GigabitEthernet 1/0/54m-lag接口[DSW1]int br1 [DSW1-Bridge-Aggregation1]link-aggregation mode dynamic [DSW1-Bridge-Aggregation1]int g1/0/2 [DSW1-GigabitEthernet1/0/1]port link-aggregation group 1 [DSW1-GigabitEthernet1/0/1]int br1 [DSW1-Bridge-Aggregation1]port m-lag group 12.多级M-LAG1M-LAG12DSW1/DSW2系统配置m-lag mad exclude interface GigabitEthernet1/0/4 m-lag system-mac 0012-0012-0012 m-lag system-number 1 m-lag system-priority 4096 m-lag consistency-check disablepeerlink链路interface Bridge-Aggregation12 link-aggregation mode dynamic port m-lag peer-link 1 interface GigabitEthernet1/0/2 port link-aggregation group 12 interface GigabitEthernet1/0/3 port link-aggregation group 12keepalive链路interface GigabitEthernet1/0/4 port link-mode route ip address 1.1.1.1 255.255.255.0 m-lag mad exclude interface GigabitEthernet1/0/4 m-lag keepalive ip destination 1.1.1.2 source 1.1.1.1M-LAG接口interface Bridge-Aggregation2 link-aggregation mode dynamic port m-lag group 2 interface GigabitEthernet1/0/5 port link-aggregation group 2 interface GigabitEthernet1/0/6 port link-aggregation group 22M-LAG34系统配置m-lag mad exclude interface GigabitEthernet1/0/4 m-lag system-mac 0034-0034-0034 m-lag system-number 1 m-lag system-priority 32768 m-lag consistency-check disablepeerlink链路interface Bridge-Aggregation12 link-aggregation mode dynamic port m-lag peer-link 1 interface GigabitEthernet1/0/2 port link-aggregation group 34 interface GigabitEthernet1/0/3 port link-aggregation group 34keepalive链路interface GigabitEthernet1/0/4 port link-mode route ip address 2.1.1.1 255.255.255.0 m-lag mad exclude interface GigabitEthernet1/0/4 m-lag keepalive ip destination 2.1.1.2 source 2.1.1.1M-LAG接口interface Bridge-Aggregation2 link-aggregation mode dynamic port m-lag group 2 interface GigabitEthernet1/0/5 port link-aggregation group 2 interface GigabitEthernet1/0/6 port link-aggregation group 2 M-LAG
一、产生背景1在STP生成树协议或IRF智能弹性架构/堆叠STP 的痛点会阻塞链路导致带宽利用率只有一半且收敛慢。IRF堆叠的痛点两台设备融合成一个控制平面如果主控引擎出现软件故障或者在进行设备升级重启时二整个集群可能会受到影响升级风险大。2M-LAG 的优势M-LAG控制平面保持独立各自有独立的路由表、MAC表仅在数据平面和协议平面进行状态同步。这样既实现了跨设备的链路聚合100%带宽利用率又保证了一台设备升级或故障时另一台设备完全不受影响做到了真正的“无损升级”和高可靠性。二、M-LAG DRNI) 的核心概念与术语1M-LAG 系统由两台设备主设备 Primary 备设备 Secondary通过 peer-link 和 Keepalive 组成一个虚拟系统。2M-LAG 接口与外部设备相连的二层聚合接口必须用动态聚合。同一 M-LAG 组编号的两台设备接口构成一个逻辑聚合组。3peer-link 链路两台 M-LAG 设备间的唯一互联链路可为聚合接口或 Tunnel。作用交互 DRCP 协议报文同步 MAC/ARP/ND/DHCP 等表项传输跨设备流量故障绕行4peer-link 接口唯一内部控制链路接口必须配置为二层动态聚合不能是 M-LAG 接口。5Keepalive 链路三层互通链路常用管理口或 VLAN 接口用于 peer-link 故障时的双主检测交互 UDP Keepalive 报文默认端口 6400。6DRCP 协议Distributed Relay Control ProtocolM-LAG 的核心控制协议。通过 DRCPDU 报文完成配对、主备协商、配置同步。支持短超时3s每1s发一次和长超时90s每30s发一次。7MAD 机制Multi-Active Detection双主检测系统分裂时自动将非保留接口置为MAD DOWN状态仅保留接口peer-link、M-LAG 接口、管理口等允许转发避免双主脑裂。8系统参数必须一致system-mac相同、system-number不同、system-priority相同。三、网络模型典型组网分为1双归接入主流服务器/下级设备同时连两台 M-LAG 设备实现负载分担冗余。2单归接入外部设备只连一台设备表项仍通过 peer-link 同步提供备份路径。3多级 M-LAG接入-汇聚-核心层层 M-LAG汇聚层常做双活网关。4EVPN VXLAN 支持两台 VTEP 组成 M-LAG 虚拟 VTEP支持 VXLAN 隧道作为 peer-link。四、 M-LAG 系统建立M-LAG 通过DRCP 协议Distributed Relay Control Protocol运行在 peer-link 上和RLINK 可靠通道Eth.type 8843实现两台设备虚拟成一台逻辑设备。整个核心流程分为系统建立、主备协商、表项同步、数据转发、故障切换五个阶段全部基于 peer-link Keepalive 双保险确保设备级双活冗余。1. 系统建立DRCP 协商 配对两台设备A、B完成 system-mac、system-number、system-priority、peer-link、M-LAG 接口等配置后通过 peer-link 定期互发DRCPDU报文Eth.type 8952无 VLAN tag点对点。交换信息包括系统信息MAC/Priority/Number、端口信息M-LAG ID、本端/对端端口、状态、角色信息Role/RolePriority/Bridge MAC。本端收到对端 DRCPDU 后判断 system-mac、M-LAG 组号、聚合模式、KEY 等是否一致。配置匹配 →M-LAG 系统配对成功不匹配 → 系统无法建立。 DRCP 支持短超时 3s/每秒发一次 或 长超时 90s/每30s发一次可通过 m-lag drcp period short 加速2. 主备角色协商选举配对成功后按以下严格顺序比较优胜者成为Primary主另一台为Secondary从比较设备所有M-LAG接口的状态有可工作M-LAG接口的一端为优比较计算前角色Primary端优比较M-LAGMADDOWN状态不存在处于M-LAGMADDOWN状态的接口的一端优比较设备健康状况健康值越小越优比较设备角色优先级默认32768越高越优值越小优先级越高桥 MAC小值优先 角色确定后不抢占后加入设备不会抢主。同时通过 Keepalive 链路UDP默认 1s 发包、5s 超时检测邻居存活。3. 配置一致性检查 表项同步Type1 检查关键转发配置如 LACP 模式、VLAN、STP不一致 → Secondary 侧对应 M-LAG 接口自动 DOWN打印 LOG。全局配置配置项一致性检查的具体内容关键原因Peer-link 接口链路类型检查是 Access、Hybrid 还是 Trunk两端封装协议必须一致否则二层流量无法互通。Peer-link 接口的 PVID检查 PVID缺省 VLAN ID是否相同防止 VLAN 流量在跨越 Peer-link 时发生 VLAN ID 错乱。生成树STP功能检查全局 STP 开关以及 VLAN 内的 STP 状态只要一方开启而另一方关闭极易形成物理环路。生成树模式检查是 STP、RSTP、PVST 还是 MSTP不同模式的 BPDU 报文格式不同无法协同工作。MST 域相关配置域名、修订级别Revision、VLAN 与实例映射这是 MSTP 正常运行的基础映射不一致会导致生成树拓扑计算错误。接口配置配置项一致性检查内容为什么必须一致聚合组的工作模式静态聚合 vs 动态聚合 (LACP)如果一边是手工静态聚合另一边是 LACP 动态协商下游设备会因为协议失配导致链路震荡或流量黑洞。接口生成树功能接口上 STP 是否开启接口级别的 STP 状态必须同步。若一边参与 STP 计算而另一边透传会导致逻辑拓扑不闭合产生二层环路。接口的链路类型Access、Hybrid 或 Trunk定义了接口处理 Tag 的方式。不一致会导致流量进入交换机后VLAN 标签剥离或添加逻辑混乱。接口的 PVIDM-LAG 接口的缺省 VLANPVID 决定了收到的 Untagged 报文进入哪个 VLAN。如果不一致同一个终端发出的流量在两台交换机上会进入不同的 VLAN 广播域。Type2 检查一般配置不一致仅打印 LOG不影响转发。通过RLINK 通道可靠、可重传、有 seq实时/批量同步MAC/ARP/ND/DHCP/组播表项STP 根信息、协议报文单归接入表项也同步到对端全局配置配置项内容一致性检查分配给接口的 VLAN检查对等链路接口所属的VLAN 。它首先比较已标记的 VLAN然后比较接口上的未标记 VLAN。VLAN接口检查 VLAN 接口VBDIF/SVI是否处于启用状态并确保对等链路接口是该 VLAN 的成员。VLAN接口状态检查 VLAN 接口是否已被手动关闭管理员关闭。VLAN接口IPv4地址检查是否已为 VLAN 接口配置IPv4 地址。接口配置配置项内容一致性检查分配给接口的 VLAN检查M-LAG 成员接口上允许的 VLAN 。它首先比较已标记的 VLAN然后比较未标记的PVIDVLAN。端口速度是选择参考端口的首要考虑因素。检查 M-LAG 接口上是否启用了使用端口速度来确定“参考端口”决定 LAG 运行状态的端口的功能。选择活动端口时忽略端口速度检查在 M-LAG 中选择活动成员端口时忽略端口速度的配置在两个对等体之间是否一致。4. 正常数据转发机制双活负载分担两台设备无主备转发差异同时转发1南北向流量下行服务器 ↔ 上行网络下行网络侧流量哈希到两台 M-LAG 接口本地优先转发。上行本地出接口直接转发。2东西向流量服务器间本地有出接口 → 本地转发最高效。无出接口 → 通过 peer-link 绕行对端转发。3BUM 流量未知单播/广播/组播关键防环机制单向隔离——从 peer-link 进来的流量绝不从 M-LAG 接口出去避免环路。广播/组播通过表项同步 peer-link 备份转发。5. 故障切换机制秒级无感知1M-LAG 接口故障网络侧流量仍发给两台故障侧通过 peer-link 把流量交给对端对端接管全部转发。恢复后自动恢复。2peer-link 故障Keepalive 正常触发MADMulti-Active DetectionSecondary 除保留接口peer-link、M-LAG、管理口等外全部置MAD DOWN停止转发。Primary 独占转发。恢复后延迟 restore-delay默认 30s完成表项同步后接口自动 UP。单设备故障主设备故障 → Secondary 瞬间升级为主继续全量转发备设备故障 → 主设备不受影响。上行链路故障表项已同步可绕行对端可配 Monitor Link 联动 M-LAG 接口 DOWN 提升效率。二次故障peer-link Keepalive 同时 down缺省可能双主风险高。推荐开启MAD DOWN 保持或独立工作模式LACP System ID 切换为独立参数仅一台转发。总结核心一句话 M-LAG DRCP协商配对角色选举 RLINK表项同步 Keepalive双主检测 MAD防脑裂 单向隔离防环实现真正的设备级双活故障切换 1s用户无感知。五、实验与配置1.单级M-LAG1系统配置[DSW1]m-lag system-mac 12-12-12 #要求一致 [DSW1]m-lag system-number 1 #要求唯一 [DSW1]m-lag system-priority 4096 #要求一致 [DSW1]m-lag consistency-check disable #关闭配置一致性检查模拟器要敲2peer-link链路[DSW1]int Bridge-Aggregation 12 [DSW1-Bridge-Aggregation12]link-aggregation mode dynamic [DSW1]int range g1/0/3 to g1/0/4 [DSW1-if-range]port link-aggregation group 12 [DSW1-if-range]int br12 [DSW1-Bridge-Aggregation12]port m-lag peer-link 13keepalive链路[DSW1]int g1/0/5 [DSW1-GigabitEthernet1/0/5]port link-mode route [DSW1-GigabitEthernet1/0/5]ip address 1.1.1.1 24 [DSW1]m-lag keepalive ip destination 1.1.1.2 source 1.1.1.1 [DSW1]m-lag mad exclude interface GigabitEthernet 1/0/54m-lag接口[DSW1]int br1 [DSW1-Bridge-Aggregation1]link-aggregation mode dynamic [DSW1-Bridge-Aggregation1]int g1/0/2 [DSW1-GigabitEthernet1/0/1]port link-aggregation group 1 [DSW1-GigabitEthernet1/0/1]int br1 [DSW1-Bridge-Aggregation1]port m-lag group 12.多级M-LAG1M-LAG12DSW1/DSW2系统配置m-lag mad exclude interface GigabitEthernet1/0/4 m-lag system-mac 0012-0012-0012 m-lag system-number 1 m-lag system-priority 4096 m-lag consistency-check disablepeerlink链路interface Bridge-Aggregation12 link-aggregation mode dynamic port m-lag peer-link 1 interface GigabitEthernet1/0/2 port link-aggregation group 12 interface GigabitEthernet1/0/3 port link-aggregation group 12keepalive链路interface GigabitEthernet1/0/4 port link-mode route ip address 1.1.1.1 255.255.255.0 m-lag mad exclude interface GigabitEthernet1/0/4 m-lag keepalive ip destination 1.1.1.2 source 1.1.1.1M-LAG接口interface Bridge-Aggregation2 link-aggregation mode dynamic port m-lag group 2 interface GigabitEthernet1/0/5 port link-aggregation group 2 interface GigabitEthernet1/0/6 port link-aggregation group 22M-LAG34系统配置m-lag mad exclude interface GigabitEthernet1/0/4 m-lag system-mac 0034-0034-0034 m-lag system-number 1 m-lag system-priority 32768 m-lag consistency-check disablepeerlink链路interface Bridge-Aggregation12 link-aggregation mode dynamic port m-lag peer-link 1 interface GigabitEthernet1/0/2 port link-aggregation group 34 interface GigabitEthernet1/0/3 port link-aggregation group 34keepalive链路interface GigabitEthernet1/0/4 port link-mode route ip address 2.1.1.1 255.255.255.0 m-lag mad exclude interface GigabitEthernet1/0/4 m-lag keepalive ip destination 2.1.1.2 source 2.1.1.1M-LAG接口interface Bridge-Aggregation2 link-aggregation mode dynamic port m-lag group 2 interface GigabitEthernet1/0/5 port link-aggregation group 2 interface GigabitEthernet1/0/6 port link-aggregation group 2