搜索引擎对网站抓取有惯性。更新忽多忽少，抓取频率也随之变化，新页面进入索引的时间也很难预测。
节奏比总量更重要。每天固定时间发布几篇，比周末集中补一周的量要好得多，抓取程序会逐渐熟悉发布的时间点，新的内容在下一轮访问时就会被发现。批量导入旧内容的情况另当别论，应该分日投放，单日突增容易触发质量复核。
不同的页面有不同的频率。新闻类网站每小时更新一次是合理的，行业资料网站每天更新一次也就可以了，更新的速度和内容变化的幅度应该相匹配；长期没有变化的页面会被不断地推送修订时间，抓取程序会慢慢降低对它重视的程度。
预算有限的网站需要做取舍。大型站点深层页面的轮询周期比较长，把新发的内容和高价值的页面放入sitemap中主动推送，相当于给爬虫指明了方向；减少重复页面，把配额留给真正更新的地址。
经过调整之后观察抓取曲线两周，频次和新页收录速度都趋于稳定，节奏才算是形成了。
改版和突发流量另外处理。栏目合并、域名迁移期间临时提高更新和提交的密度，使抓取程序能够更快地适应新的结构；活动带来的访问脉冲结束后恢复原来的节奏，不需要因为短期的事件而永久改变发布习惯。频率策略的稳定性本身就是一种信号，朝令夕改会使之前建立的抓取惯性失效。