WordPress网站的robots.txt文件就是搜索引擎爬虫访问网站时首先看到的规则文件，哪怕只有一两个字符的差别，都会造成收录停止、流量骤降的情况。
最常见的错误就是测试阶段遗留的全局屏蔽指令没有被清除，上线之后Disallow: /直接切断了所有的爬虫全站抓取权限，大量的已经生成的静态页面完全无法进入索引库。其次是路径匹配范围失控，本来只需要屏蔽/wp-admin/后台目录，但是通配符使用不当，把/static/、/html/等存放公开内容的目录也一并拦截了，上万篇已经发布的行业问答、产品详情页长期处于未收录的状态。
另外，在语法层面上也存在一些隐性问题会影响收录：用中文标点代替标准的英文冒号、路径前缺少正斜杠、文件保存时混入BOM头使爬虫解析出错、Sitemap指引地址拼写错误等细节上的偏差都会导致规则失效。
修正流程不需要复杂的操作，先用FTP找到站点根目录下的robots.txt文件，逐行检查所有的Disallow指令，把宽泛的拦截路径精确地限制在后台、核心代码库等私密目录上，保留所有公开内容目录的抓取权限。确认文件编码为UTF-8无BOM格式，总大小不超过500字节，然后通过搜索引擎站长平台的抓取模拟器进行验证，保证所有目标收录页面都处于可访问状态。修正之后，爬虫的抓取请求会在几小时内恢复正常，被拦截的静态页面也会慢慢进入索引队列。