robots、sitemap与canonical打架时的排查顺序

单独看每项配置都没错，合在一起却互相矛盾，这是站点索引问题里最常见的一种。表现是：页面明明存在，提交了也不收录；或者收录了，但显示的地址不是想要的那个。这类问题靠猜没有用，按顺序查才快。

先查robots

robots文件里的一条Disallow，可以让整个目录不被抓取。常见误伤是屏蔽了带参数的地址，却把正常分页也一起挡了；或者测试环境的规则被同步到了正式环境。改完要用平台提供的robots测试工具验证具体地址是否可抓，不要只看文件内容。

再看状态码

被屏蔽之外，还有一种情况是地址本身返回了非200。检查是否有循环跳转、跳转链过长、大小写不一致导致的404。跳转链超过两三跳，抓取效率会明显下降，而这类问题在浏览器里往往看不出来，因为浏览器会自动跟完。

然后看页面内的指令

noindex与canonical是两回事。noindex表示不要收录这个页面，canonical表示这个页面的正式地址是另一个。两者叠加使用时要想清楚：一个页面既noindex又canonical到别处，等于给了两条互相矛盾的信号，抓取程序只能自己判断，结果就是不稳定。

sitemap里不该出现的地址

站点地图应当只列希望被收录的、返回200的正式地址。把noindex页面、被robots屏蔽的地址、重定向地址、参数页面放进地图，会浪费抓取预算，也会降低地图本身的可信度。地图里的地址数量不是越多越好，准确比规模重要。

分页与筛选页最容易出错

列表分页的canonical全部指向第一页，会导致第二页之后的内容不再被单独收录；筛选组合生成的地址数量可能成倍增长，需要规则化的处理方式，而不是逐个屏蔽。先想清楚希望哪一类页面被收录，再写规则。

改完要给观察周期

配置修改后，抓取与索引的更新不是即时的。改完先确认线上文件已生效，再提交地图，然后观察两到四周的抓取统计与索引量变化。频繁反复修改，会让判断失去依据，也容易让抓取程序把站点当作不稳定的来源。

留一份配置说明

robots规则、地图生成逻辑、canonical生成规则，应当有一份简短的说明文档，写清每条规则是为解决什么问题而加的。人员更替后，下一个人不必从文件里反推意图，也不会因为看不懂而整段删掉。冉冉科技在站点上线与改版交付时，会把这几项配置的说明一并归档。

小结

索引配置是一套组合拳，矛盾往往出在组合处。按抓取、状态码、页面指令、地图的顺序查，多数问题能定位。

关于冉冉科技

江苏冉冉信息科技有限公司（品牌“冉冉科技”）成立于2017年，位于江苏省常州市新北区，是一家从事互联网信息服务、电子商务应用与企业应用系统开发的技术服务企业。公司业务涵盖网站建设、网页设计、SEO优化、竞价包年、域名注册、虚拟主机、企业邮箱、整合营销及企业形象策划等，以“只做有效果的网络营销”为服务主张，累计完成三千余起网站建设与服务。