原子网络科技 原子网络科技

容器宿主机内核参数专项调优:在高并发网络环境下对 somaxconn、tcp_tw_reuse 和 file_max 进行配置的方法

a169kai 2026年11月16日 · 阅读约 3 分钟

容器网络仍然使用宿主机的内核协议栈来传输数据,在容器内部对net.core和fs相关的参数进行调整通常没有效果,因此需要进行优化的是宿主机本身。

net.core.somaxconn:设置监听套接字全连接队列的最大长度,大多数发行版默认值只有4096或者更小一些。在高并发情况下,如果队列满了的话就会出现连接超时、握手失败的情况。所以应该把它的值设置为65535,并且要检查一下应用层的backlog参数(比如Nginx的listen backlog、Redis的tcp-backlog等),如果应用层设置的值比这个要小的话那么队列上限还是由应用来决定的,并不会因为这里设置了而变大。另外还需要调整一下半连接队列net.ipv4.tcp_max_syn_backlog的值使其和上面的保持一致。

net.ipv4.tcp_tw_reuse:设置为1之后可以重用处于TIME_WAIT状态的四元组,但是只对发起连接的一方有效,并且需要开启tcp_timestamps选项。反向代理、网关等中间件程序作为客户端去访问后端服务器的时候效果很好;而纯服务端接收前端请求时则没有作用。同族参数tcp_tw_recycle在NAT环境中会因为时间戳乱序导致合法报文被丢弃,在内核4.12版本中已经被完全删除了,在老版本的系统中一定要把它关掉。解决TIME_WAIT堆积问题的根本方法还是业务层使用长连接复用,而不是依靠内核参数来缩短等待时间。

fs.file-max:系统级文件句柄上限,默认值在万级量度,百万并发下极易触及。建议设为 1000000 以上,同时调大 fs.nr_open,并在 /etc/security/limits.conf 中提升 nofile 的 soft 与 hard 限制;容器场景还需在 kubelet 或 container runtime 层面对应放宽 nofile,否则容器内进程仍受默认 1024 约束。

把配置放到 /etc/sysctl.d/ 目录下单独的文件中,用 sysctl –system 来加载它,不需要重启服务器。在修改之前和之后都要用 ss -lnt 命令查看一下 Recv-Q 的值是否一直接近于 Send-Q 的值,并且要进行 ab 或者 wrk 压力测试来进行比较,不能直接照抄参数列表。

总结

三个参数分别作用于接入、复用和句柄容量这三个环节上,在宿主机和容器两层限制都解除的情况下才有效。tcp_tw_reuse有角色和时间戳依赖关系,somaxconn受到应用backlog的影响,file-max要和nr_open以及nofile一起调整。优化应该基于观察到的数据来进行,先从业务层面入手再深入到内核层面去解决,不能盲目地套用。

0 0 投票数
文章评分
订阅评论
提醒
guest
0 评论
最旧
最新 最多投票