内链的作用经常被忽视。权重的传递只是其中一方面,更重要的是让爬虫能够找到页面,使访客继续浏览下去,使栏目之间的关联更加清楚。结构不合理的网站一般表现为头部页面的权重较高,但是深层优质内容却很长时间都没有排名。

从点击深度开始整理。重要的页面距离首页不能超过三次点击,超过之后抓取频率和收录速度都会明显降低。用爬虫统计各个层级的URL深度分布情况,找出数量很多但是位于第五层之后的分支,即使这些内容质量很好,也很难被纳入有效的抓取队列中。
导航和正文有不同的职责。主导航、面包屑、侧边分类用来构建框架,使任何页面都可以向上追溯;正文中的链接则起到横向连接的作用,一般控制在两条到三条之间,指向真正相关的页面。相关推荐、标签聚合是用来补充长尾路径的,数量上限要设定好,否则单页输出上百条链接会稀释每条链接的意义。
锚文本要统一。同一个目标页面用相同的或者非常相似的文字来描述,不能全部写成“了解更多”、“点击这里”之类的没有实际意义的词语。全站关键词映射表可以预先设定好,编辑按照表格中的内容取词,防止同义表达过多分散。
孤立页面也是重点之一。只能从sitemap中找到、站内没有入口的页面,实际抓取优先级很低。定期导出站内链接关系图,筛选出入链为零的URL,加入到相关的列表或者专题页中。还要检查参数版本、大小写变体以及末尾斜杠造成的重复地址,统一跳转到规范的URL,防止权重被分成多份。
最后要控制反向损耗。失效的链接、指向低质量页面的批量互链以及没有意义的翻页链接都会消耗掉抓取预算,使用nofollow或者直接删除。内链调整之后每月对点击深度和收录情况进行复核,结构优化才有可比对的依据。