
监控面板的作用不在于图表是否美观,而在于出现异常的时候能够迅速找出问题出在哪里。
首先选择重要的指标。主机层看CPU、内存、磁盘使用率和IO等待,服务层看响应时间、错误率和连接数,业务层看订单量、登录成功率等自定义项。指标太多就会把重点给淹没掉,在开始的时候控制在二十项以内。
采集方式有两种。轻量级采集器按照固定的时间间隔来拉取系统和服务的数据,适合长期保存;日志和链路数据则根据需要进行采集,用来定位具体的请求。存储保留周期是根据查询需求来设定的,原始数据保留两周、聚合数据保留半年是比较常见的组合。
面板按照角色来划分。从运维的角度来看资源和告警,从研发的角度来看接口耗时和错误堆栈,从业务的角度来看转化和容量水位。告警和面板之间可以相互关联,点击告警就可以直接跳转到对应的图表中去,从而减少了排查过程中的跳转次数。
面板上线之后每周进行复盘,删除长期没有人看的图表,整个系统才能一直使用下去。