某内容型网站近半年来的搜索收录一直处在较低的位置上，核心栏目页几乎不在搜索结果中。技术排查时发现根目录下的 robots.txt 文件里有一条多余的规则：Disallow: /article/。该规则本来是用于屏蔽测试环境的，上线之后没有清理掉，所以搜索引擎爬虫不能进入到整块正文内容区。
删除该行，补充正确的指令之后，文件仍然会对后台、搜索结果页以及临时目录进行限制，但是会明确放行正文和图像资源的访问路径，在末尾加上Sitemap的地址。修改好之后用站长平台工具进行模拟抓取，看目标栏目是否返回“允许”。
第二天服务器日志里主流爬虫的请求数开始回升，第五天新增抓取 URL 的数量超过了之前一个月的总和。第十四天，搜索资源平台显示的收录页面数量从修正前的1200多条增加到6000多条，增幅接近四倍，新增收录主要集中在产品说明和深度图文页。
这次改变不依靠外链爆发或者内容批量补发，只是打开了原来被错误封锁的抓取通道。robots.txt中一个斜杠的错误，就可以把整个内容区域都排除在索引之外；修正的动作越小，得到的回报就越直接。