
Prometheus和Node Exporter一起组成了服务器硬件监控的主要方式,其中Node Exporter收集的是主机级别的指标数据,而Prometheus则用来存储这些数据以及进行告警规则的计算,两者合起来可以涵盖CPU、内存、磁盘IO、网络流量这四个方面。
CPU监控不能只看平均利用率,还要收集node_cpu_seconds_total来统计各种状态所占的比例,当iowait大于20%或者system态大于15%的时候发出警报,防止因为一个阈值而漏掉某种类型的负载。短时间内的突然升高可以用5分钟滑动窗口进行平滑处理。
在内存方面要看node_memory_MemAvailable_bytes和总容量的比例,如果这个比例小于10%,并且已经持续了3分钟的话就会发出严重的警报。swap的使用量不为零也会产生预警,避免在发生OOM之前没有足够的缓冲空间。缓存可以回收的部分不应该被算作可用内存来错误判断。
磁盘IO关注的是node_disk_io_time_seconds_total和读写吞吐,如果await>50ms并且util>80%,持续5分钟的话就表示存在磁盘瓶颈;网络方面用node_network_receive_bytes_total减去transmit来算出速率,当带宽利用率超过85%或者丢包率大于0.1%的时候就会报警。
告警规则要分情况:生产环境阈值要更严格一些,而测试环境则可以适当放宽一点。使用分级告警(warning/critical)和静默期来降低不必要的通知数量。Prometheus中的for字段用来限定时间长度,防止出现短暂的异常值被错误地报告出来。
精细化的阈值设置是监控系统能否发挥作用的关键所在。CPU要关注iowait和system状态,内存要看available以及swap情况,磁盘IO要观察await和util数据,网络方面则需查看带宽和错误率等指标。通过采用滑动窗口、分级策略以及环境差异化的配置方式,可以建立起一个低误报率高灵敏度的告警系统。