网络故障的隐形元凶:MTU配置你了解吗?
创始人
2025-07-07 13:50:44
0

背景

我司使用的是亚马逊厂商的云服务,厂商的消息队列产品我们并没有用,我们选择自建,自建的好处是更灵活,定制性更广。公司内部有多套Kafka集群,100+broker节点,针对kafka我司也有比较完善的自动化运维管理体系,最近出现过一次业务连接kafka集群频繁超时的情况,在这里记录下处理过程,加深对网络知识的理解。

问题现象

业务收到服务可用性下降报警,分析日志发现是连接亚马逊kafka集群有频繁超时,超时日志如下:

基本分析

  • 影响因素:多台主机同时报警,排查单台主机问题。
  • 集群检查:立即确认kafka集群以及涉及到topic健康状态。集群状态正常,收发消息正常,压力负载正常;topic读写正常。
  • 变更操作:近期未做关于kafka的任何变更操作,排查变更影响。
  • 确定影响范围:确认其他业务是否有超时情况。大部分业务反馈未出现超时情况,问题规模限定在当前业务。

定位

网络问题从表面看不到细节,只能通过抓包分析,同时抓取了客户端和服务端的数据包,抓包命令如下:

# 客户端(抓所有和kafka节点通信的网络数据包)
nohup tcpdump  port 9092 -w kafka.pcap & 
# 服务端(抓所有和客户端主机通信的数据包)
nohup tcpdump host 10.66.67.166 -s0 -w 10.66.67.166.pcap &

说明: 开启抓包后,在客户端主机过滤超时日志,出现超时后即可停止抓包操作。

数据包分析

  • 错误日志:
  • 2023-05-24 20:46:29.947 kafka client/metadata got error from broker while fetching metadata: read tcp 10.66.67.166:37272->10.68.0.151:9092: i/o timeout
  • 客户端报文

  • 服务端报文

  • 报文分析
  • 客户端报文:
  • 在序号为793以上的报文都收到了服务端的响应,而且可以看到使用的是kafka协议进行了消息的投递(kafka produce respone)。
  • 在序号为794的时候,客户端发送了7个长度是8514的tcp报文,未看到服务端的回应。
  • 在序号是803,804的时候,客户端又发送了2个长度的tcp报文。
  • 从序号是807开始,发现客户端重传了之前发送的所有长度是8514的tcp报文。(丢包了。客户端未收到服务端的响应所以重传了)。
  • 服务端报文。
  • 从服务端看,客户端前面的几个tcp报文都被服务端正常处理。(前面的报文长度都很小,小于1000)。
  • 客户端发送的9个长度为8514的包,服务端根本没收到。
  • 服务端等待了60s后,关闭了tcp连接。(服务端配置的空闲连接时间就是1min,符合预期)。

丢包问题分析

  • 被丢弃的数据报长度都比较大,是否是报长度过大的问题?
  • 查询机器的网卡mtu配置,发现是9001(TCP/IP 巨型帧),随机使用ping命令指定size进行测试。
  • TCP 最大段大小(Max Segment Size,MSS)是会根据网卡设置的mtu值决定,即使设置的是9001,测试最大MSS最大支持到8468,超过后就直接丢了。

  • 对比测试规律总结
  • 腾讯、阿里主机(mtu=1500):因为网卡配置的都是1500,所以不存在报过大丢弃的情况。
  • 亚马逊主机(mtu=9001):包大于8468后,就会直接丢弃(问题产生在新老账户通信上)。

刨根问底

其他亚马逊业务网卡mtu配置配置也是9001,为啥没问题?

  • 第一时间和出问题的业务方确认业务是否有调整或者变更,他们说明了服务没有调整,他们在亚马逊有开了一个新账户部署了服务,目前业务访问是跨账户调用。

联系厂商确认跨账户网络链路。

  • mtu 问题反馈给厂商技术支持人员,给到的结论是:新老账户网络连通设备(TGC),最大的mtu上限是8500,所以我们通过网关设备的包就丢弃了。

解放方案

  • 调整主机mtu值,已匹配厂商的mtu限制。
# 临时生效
ip link set dev eth0 mtu 1500
永久生效
vim  /etc/sysconfig/network-scripts/ifcfg-eth0   增加如下内容
MTU="9000"
# service network restart

相关内容

热门资讯

如何允许远程连接到MySQL数... [[277004]]【51CTO.com快译】默认情况下,MySQL服务器仅侦听来自localhos...
如何利用交换机和端口设置来管理... 在网络管理中,总是有些人让管理员头疼。下面我们就将介绍一下一个网管员利用交换机以及端口设置等来进行D...
施耐德电气数据中心整体解决方案... 近日,全球能效管理专家施耐德电气正式启动大型体验活动“能效中国行——2012卡车巡展”,作为该活动的...
20个非常棒的扁平设计免费资源 Apple设备的平面图标PSD免费平板UI 平板UI套件24平图标Freen平板UI套件PSD径向平...
德国电信门户网站可实时显示全球... 德国电信周三推出一个门户网站,直观地实时提供其安装在全球各地的传感器网络检测到的网络攻击状况。该网站...
为啥国人偏爱 Mybatis,... 关于 SQL 和 ORM 的争论,永远都不会终止,我也一直在思考这个问题。昨天又跟群里的小伙伴进行...
《非诚勿扰》红人闫凤娇被曝厕所... 【51CTO.com 综合消息360安全专家提醒说,“闫凤娇”、“非诚勿扰”已经被黑客盯上成为了“木...
2012年第四季度互联网状况报... [[71653]]  北京时间4月25日消息,据国外媒体报道,全球知名的云平台公司Akamai Te...