当抓取频率降低的时候，首先要判断是站点的问题还是平台的问题。资源平台可以提供抓取诊断、抓取异常以及索引量这三类数据，配合使用可以快速缩小范围。
诊断工具可以模拟抓取指定地址，返回状态码、响应时间和页面内容摘要。返回5xx或者超时的情况，问题出在源站、CDN或者防火墙规则上；返回200但是内容为空的情况，多半是因为渲染方式或者拦截策略导致的。抓取异常板块按照类型列出失败原因，DNS错误、连接超时、状态码异常的占比，可以直接看出主因所在。
判读的时候要注意两个方面。一次的结果会受到网络波动的影响，同一个地址多次测试取稳定值；修复之后要等重新抓取，短时间内重复提交不会加快。
通过对比诊断结果和服务器日志来找到具体的问题点，而不是只停留在表面现象上。