M9000跨框堆叠线流量不均

关键词:
问题现象

XXX运营商GM9K堆叠口流量不均情况,IRF链路的负载分担模式由ingress-port改成源、目的ip方式情况还是一样。初步定位是由于堆叠口比较分散,存在即跨芯片又跨接口卡的情况,在hash的过程中同芯片上的接口流量会被hash从同芯片接口出去,同板卡流量被hash从同板块接口出去,而其他流量优先选择槽位号小的板卡出去,所以造成了堆叠口T1/1/0/1接口流量特别大。

 

堆叠配置:

irf-port 1/2

port group interface Ten-GigabitEthernet1/1/0/1 mode enhanced

port group interface Ten-GigabitEthernet1/1/0/8 mode enhanced

port group interface Ten-GigabitEthernet1/2/0/1 mode enhanced

port group interface Ten-GigabitEthernet1/2/0/4 mode enhanced

port group interface Ten-GigabitEthernet1/2/0/8 mode enhanced

#

irf-port 2/1

port group interface Ten-GigabitEthernet2/1/0/1 mode enhanced

port group interface Ten-GigabitEthernet2/1/0/8 mode enhanced

port group interface Ten-GigabitEthernet2/2/0/1 mode enhanced

port group interface Ten-GigabitEthernet2/2/0/4 mode enhanced

port group interface Ten-GigabitEthernet2/2/0/8 mode enhanced

 

 

板卡信息:

Chassis  Slot Type             State    Subslot  Soft Ver             Patch Ver

1        0    NSQ1GP24TXEA0    Normal   0        M9010-9115P11        None     

1        1    NSQ1TGS8EA0      Normal   0        M9010-9115P11        None     

1        2    NSQ1TGS8EA0      Normal   0        M9010-9115P11        None      

1        3    NSQ1FWCEA0       Normal   0        M9010-9115P11        None     

              CPU 1            Normal   0        M9010-9115P11       

1        4    NSQ1SUPB0        Standby  0        M9010-9115P11        None     

1        5    NSQ1SUPB0        Standby  0        M9010-9115P11        None     

1        6    NSQ1FWCEA0       Normal   0        M9010-9115P11        None     

              CPU 1            Normal   0        M9010-9115P11       

1        7    NONE             Absent   0        NONE                 None     

1        8    NONE             Absent   0        NONE                 None     

1        9    NONE             Absent   0        NONE                 None     

1        10   NSQ1FAB08D0      Normal   0        M9010-9115P11        None     

1        11   NSQ1FAB08D0      Normal   0        M9010-9115P11        None     

1        12   NSQ1FAB08D0      Normal   0        M9010-9115P11        None     

1        13   NSQ1FAB08D0      Normal   0        M9010-9115P11        None     

2        0    NSQ1GP24TXEA0    Normal   0        M9010-9115P11        None     

2        1    NSQ1TGS8EA0      Normal   0        M9010-9115P11        None     

2        2    NSQ1TGS8EA0      Normal   0        M9010-9115P11        None     

2        3    NSQ1FWCEA0       Normal   0        M9010-9115P11        None     

              CPU 1            Normal   0        M9010-9115P11       

2        4    NSQ1SUPB0        Master   0        M9010-9115P11        None     

2        5    NSQ1SUPB0        Standby  0        M9010-9115P11        None     

2        6    NSQ1FWCEA0       Normal   0        M9010-9115P11        None     

              CPU 1            Normal   0        M9010-9115P11       

2        7    NONE             Absent   0        NONE                 None     

2        8    NONE             Absent   0        NONE                 None     

2        9    NONE             Absent   0        NONE                 None     

2        10   NSQ1FAB08D0      Normal   0        M9010-9115P11        None     

2        11   NSQ1FAB08D0      Normal   0        M9010-9115P11        None     

2        12   NSQ1FAB08D0      Normal   0        M9010-9115P11        None     

2        13   NSQ1FAB08D0      Normal   0        M9010-9115P11        None      

告警信息

接口统计:

<GSLZ-PS-GPRS-FW-NAT-YITH3C>dis counters rate inbound interface Ten-GigabitEthernet 1/1/0/1

Interface               Total (pps)       Broadcast (pps)       Multicast (pps)

XGE1/1/0/1                   482339                    --                    --

 

Overflow: More than 14 digits.

       --: Not supported.

<GSLZ-PS-GPRS-FW-NAT-YITH3C>dis counters rate inbound interface Ten-GigabitEthernet 1/1/0/8

Interface               Total (pps)       Broadcast (pps)       Multicast (pps)

XGE1/1/0/8                   115845                    --                    --

 

Overflow: More than 14 digits.

       --: Not supported.

<GSLZ-PS-GPRS-FW-NAT-YITH3C>dis counters rate inbound interface Ten-GigabitEthernet 2/1/0/1

Interface               Total (pps)       Broadcast (pps)       Multicast (pps)

XGE2/1/0/1                   171068                    --                    --

 

Overflow: More than 14 digits.

       --: Not supported.

<GSLZ-PS-GPRS-FW-NAT-YITH3C>dis counters rate inbound interface Ten-GigabitEthernet 2/1/0/4

Interface               Total (pps)       Broadcast (pps)       Multicast (pps)

XGE2/1/0/4                   217882                    --                    --

 

Overflow: More than 14 digits.

       --: Not supported.

<GSLZ-PS-GPRS-FW-NAT-YITH3C>dis counters rate inbound interface Ten-GigabitEthernet 2/1/0/8

Interface               Total (pps)       Broadcast (pps)       Multicast (pps)

XGE2/1/0/8                   271881                    --                    --

 

原因分析

对于这个问题的原因,我们把目光聚焦在2slot1上,因为interface Ten-GigabitEthernet 1/1/0/1 这个接口input方向利用率高,是因为2/1/0/1output方向高

 

对于2slot1来说,8万兆接口板有两个芯片,这一点与其他接口板相比有点特殊(其他接口板都是同一个交换芯片处理),按照堆叠口的跨框处理原则如下

 

1)本板有irf接口就会从本板的irf口发送给另一个框,对于8万兆就是同芯片的转发接口需要跨框时,就从同芯片的irf口发送

2)如果本板没有irf口,就从其他槽位hash出一个且仅有一个槽位来发送跨框流量

 

21槽位的2-3-4三个接口的跨框流量,都会从1口发送出去

XGE2/1/0/1                   632931                    --                    --

XGE2/1/0/2                   219411                    --                    --

XGE2/1/0/3                   239511                    --                    --

XGE2/1/0/4                   215468                    --                    --

XGE2/1/0/6                   364068                    --                    --

XGE2/1/0/8                   150605                    --                    --

解决办法

建议按照上面提到的原则,将1槽位的irf口放在同一个芯片上,如将1口换到5口,这样2-3-4三个接口的跨框流量都会均匀地分配到58两个irf口上发送出去

而且现场描述1口基本满了,且后面还有增加流量的可能,建议在1槽位增加一个irf接口,增加后变成5-7-8三个irf接口,堆叠口数量与slot2相同

建议与总结

牢记好堆叠跨框的转发原则,后续部署的时候尽量把堆叠口起在同一个芯片上,可以有效解决流量不均的问题

案例信息

案例类型:经验案例
案例号:201606080006
创建时间:2016年6月8日
更新时间:2017年7月27日
发布时间:2016/6/29 3:20:39
文章密级:游客可见
有效期:长期有效
发布者:王晗 [w11759]
点击次数:1716
评论平均得分:0
关键词:M9000 堆叠 不均
产品线:安全产品
产品系列:M9000系列
产品版本:R9115P11
故障类型:

常用操作
收藏