
访问故障的第一现场一般不在服务器上,而是在链路上。单点监控只能说明某处可以正常使用,而不能体现不同的网络环境下的实际感受。
监控点要分布开来。选择多个省份、多家运营商进行布点,覆盖主要的出口,不能把所有的探测节点都放在同一个机房里;对于有境外访问需求的应用,也要布置探测节点。
指标分段计时。把一次访问拆成解析、建立连接、首字节、内容下载四个部分,分别记录时间,发生故障的时候可以直接看出卡在哪一个环节。解析慢是指域名服务,连接超时是指网络或者防火墙,首字节偏长是指应用和数据库。
告警要分等级。连续三次失败会发出警告,所有节点都失败的话就会变成严重的;单个节点出现异常的时候先观察一下,防止因为偶尔的抖动而产生误报。阈值根据业务基准来设置,留有日常波动的余地。
把监控的结果和服务器日志进行对比,才能从现象到原因。拨测数据按月份归档,用来衡量线路质量和节点选择的长期趋势。
按照业务的扩展来划分。CDN 加速之后,域名、独立的下载入口、接口域名都要加入到拨测清单中,只监测首页的话就会漏掉很多真实的故障。新增节点上线的时候也要同步增加探测点,防止监控地图和实际架构不一致。