最近，某科技公司的官网底层架构进行了优化，增加了面包屑导航和XML站点地图这两个基本功能，使得搜索引擎爬虫的抓取效率提高了70%，页面的收录时间也由原来的7天缩短到了48小时以内。
之前该公司的官方网站由于栏目层级很深，一些页面缺少内链指引，使得爬虫抓取时经常会出现“漏抓”、“重复抓取”的情况，从而导致新上线的产品页面、技术文档页面很长时间没有被搜索引擎收录，直接影响自然搜索流量的获取。
技术团队为了解决这个问题，首先给全站页面添加了面包屑导航，明确了“首页-栏目页-内容页”的层级关系，使爬虫能够更快地理解网站结构和页面权重分布；另外还生成了符合搜索引擎要求的XML站点地图，实时同步页面更新状态，主动推送新增和修改的内容。
优化上线之后，爬虫每天的抓取页面数量由1200页增加到2040页，抓取深度也由原来的3层扩展到5层，原来很难触及到的二级栏目子页面的抓取覆盖率达到92%。另外，由于面包屑导航提高了页面内链的相关性，所以核心关键词的排名稳定性也得到了提高，官网自然搜索流量环比增长了35%。
该企业技术负责人说，这次优化没有进行大规模的页面改版，只通过基本的功能补充就达到了抓取效率的提升，证明了网站底层结构对于SEO的重要性。之后会一直关注爬虫抓取日志，根据用户访问路径来调整内链布局，从而保持搜索流量增长的趋势。