
地图文件可以让抓取程序快速地找到所有的可索引地址,而手工维护则很难跟上更新的步伐。
程序自动生成。按照内容类型分成不同的文件,文章、栏目、标签都是独立的,每个文件里的地址数量要适中;只收录可以索引的页面,把后台路径、站内搜索的结果以及参数页都排除掉。
采用增量方式。在发布、修改、删除内容的时候触发相应的文件重建,不需要对整个网站进行重新计算;配合索引文件统一指向各个子地图,抓取程序只读一次就可以得到所有入口。
设置定时提交。更新频率高的网站每小时推送一次,稳定的网站每天提交一次;如果提交接口失败的话,需要记录下来重新尝试,连续失败的话就会发出警报。在站点的根目录下存放静态文件,当接口出现异常的时候仍然可以访问。
最后进行有效性验证。定时检查文件是否可以访问、格式是否正确、地址是否返回正常,异常情况当天处理。地图不是一次性提交的,而是随着内容的变化而不断更新的索引。
收录情况要跟踪。如果提交量和实际索引量之间长期存在很大的差异,那么问题一般不在地图本身,而是在内容质量和抓取预算上;定期比较这两个数据,可以避免把收录问题误认为是技术故障。