死链不会直接降低站点的权重,但是会占用抓取配额,使有效的页面排队时间变长。处理思路分为三个步骤:首先确定范围,然后选择修复或者下线,最后通过站长平台向搜索引擎报告。

入口有三处。爬虫工具全站遍历,记录返回404、410以及超时的URL,适合初次全面体检;服务器访问日志按状态码过滤,可以抓到外链引起的长期错误访问;sitemap和实际页面对比,可以发现已经删除但仍然存在于地图中的条目。内链指向的死链优先处理,影响范围比外部链接大。
状态码要符合规范。已经删除的内容返回410或者404,不能用200的状态码来渲染空页面,软404会被认为是低质量内容而不是死链。暂时停更的栏目用302来保留恢复的可能性,永久迁移则用301指向最相关的新地址,避免全部跳转到首页。
提交的时候有格式的要求。站长平台可以按照规则文件进行批量提交,每一行一个完整的URL,在提交的时候要确保链接返回的是404或者410,否则就会被认为是无效的。批量文件按批次拆分,每次的数量不能超过平台上的限制,提交之后处理需要一定的时间,短时间内重复提交不会加快。
容易被忽视的是屏蔽冲突。如果死链所在的路径被 robots.txt 禁止抓取的话,爬虫就无法判断其状态了,那么提交的规则也就不会生效了。在规定的时间内保持路径可访问、状态码正确,处理完毕之后再统一收敛。建议每个月导出一次404日志,把死链清理作为常规维护工作,不是一次性的操作。