原子网络科技 原子网络科技

当容器的密度达到最大值时,cgroup v1就会开始计算错误

a169kai 2026年11月16日 · 阅读约 2 分钟

在单个节点上运行几十个容器的时候,cgroup v1 的统计误差往往会被忽视掉;但是当密度翻倍、混合批处理和在线服务一起出现时,问题就会集中爆发出来:CPU 节流阈值波动、page cache 占用不计入工作集、blkio 和内存控制器各自计算自己的数据,在监控面板中显示的使用率和节点的实际负载不一致,OOM 的发生也让人摸不着头脑。

根因是v1的多层架构——每个控制器(cpu、memory、blkio)都单独挂一棵树,在同一个容器里不同的树中属于不同的节点,线程级别的拆分又放大了计算误差。在高密度情况下,下层遍历的成本急剧上升,节流判断变慢,毛刺也就出现了。

切 v2 并不是简单的更改配置,而是把内核升级到5.15以上、GRUB加上systemd.unified_cgroup_hierarchy=1、确认/sys/fs/cgroup挂载为cgroup2fs;containerd开启SystemdCgroup = true、kubelet也使用systemd来驱动它们,三者必须保持一致,否则Pod无法启动。

v2 把所有的控制器都放到一个层次上,cpu.stat、io.stat、memory.current 同源上报,PSI 压力指标可以直接使用。经过测试之后发现:CPU 节流方差变小了,内存工作集统计和 kubelet 调度一致了,HPA 不会错误判断;page cache 回收更加谨慎一些,邻居容器之间的干扰也减少了。

在迁移之前先进行灰度测试一个节点池,重新计算内存预算——v2 默认把内核态和 socket 缓冲区算作 memory.current,之前被限制住的那些容器可能会提高20%-40%左右来防止出现“升级即OOM”的情况。

cgroup v2 解决了高密度环境下“账算不清、限不准”的问题,统一层级 + 原生 PSI 使资源视图更加真实,但是需要重新编写旧的监控脚本以及收紧的限制条件。Kubernetes 1.35+已经把v1推到了淘汰的边缘,节点层迁移应该尽早进行。

0 0 投票数
文章评分
订阅评论
提醒
guest
0 评论
最旧
最新 最多投票