robots是建议性的协议，写对了可以把抓取预算集中到有效的页面上，写错了的话整个网站就会从搜索结果中消失。
在调整之前要先确定好目标。屏蔽参数组合、后台路径、站内搜索结果页以及临时活动页是常见的要求，正文页和栏目详情页不应该被禁止。前缀匹配要非常小心，一条 Disallow 的全站屏蔽写法就可以使所有的页面都失去抓取的机会了，末尾缺少斜杠也会造成误伤。多条规则同时存在的时候按照最长的匹配来判定，例外路径用 Allow 来补充。
临时维护不需要修改协议。整个网站返回 503 错误，并且设置重试时间，比修改规则要安全得多，后者在恢复之后还需要等待重新读取。
配置完成之后要进行检查。使用抓取诊断工具来检查关键地址的放行情况，保证规则文件能够正常访问、语法正确，在日志中查看抓取次数和状态码分布。
每次只修改一条，并且保留变更记录，在出现异常的时候就可以快速找到问题所在并进行回滚。