状态码错误不会使页面马上消失，但是会一直占用抓取预算，也会给访问者和接口调用方带来错误的信息。
批量检测是以站点地图作为入口。使用爬虫工具遍历整个网站的所有URL，记录下每个URL的返回码、响应时间和重定向次数，导出之后按照状态码进行分组统计，异常情况先查看5xx错误以及过长的跳转链。
错误主要出现在几个地方。内容被删除了但是返回的是200的空页面，这属于软错误，应该改成404或者410；整个网站强制跳转到首页也是错误的处理方式，访问者失去了判断依据；跳转链超过两跳应该合并成一次直达；接口出错的时候仍然返回200并且附带错误信息，会误导调用方和监控规则。
按照影响范围大小来排列。首页、栏目页以及高流量详情页排在前面，然后是内部链接指向的错误地址，最后是长尾页面。修正后再次测试同样的地址，检查状态码和跳转目标是否都符合要求。
另外两个地方也需要单独核对一下。第一点是大小写以及末尾斜杠导致的同一路径多份返回，应该统一成规范地址，给出明确的跳转；第二点是移动端和桌面端如果采用不同的入口，两边的状态码要保持一致，否则抓取端看到的结果就会与实际的访问情况不符。
把巡检列入到月度的工作中去，新栏目上线之后单独运行一次，这样就不会出现错误随着规模的扩大而增加的情况。