唯一责任方应当按“谁掌握最终输出”来定,而不是按“谁最早生成”来定。多个系统同时生成网址规则时,先确认请求最终由哪个系统写入或被哪个系统改写,再把该系统的负责人定为唯一责任方;其他系统只保留输入或建议角色。否则旧系统、旧内容或旧合作关系退出时,没人能判断一条规则该被删除、保留还是改写。
一个常见场景是:旧内容下线、旧系统停写、旧合作关系终止,网址规则的总量确实在下降,但抓取和收录异常并没有同步减少。此时有两种解释。
这两种解释对应的处理动作完全不同。前者要处理的是生效优先级,后者要处理的是生成逻辑。
能区分它们的证据,是同一批网址在“生成记录”和“最终输出”两处的差异。
这个对比不依赖任何单一统计。抓取量下降、请求量归零或某份报表清空,都不能单独证明清理正确,因为它们也可能是抓取预算变化、访问限制生效或统计口径调整造成的。只有生成记录与最终输出同时指向同一结论,才足以支撑判断。
假设某站点有三个系统会产出网址:内容系统、路由系统和外链收录平台相关的提交配置。可以按以下顺序确定责任方。
第 3 步是决定下一步的关键动作。如果改动内容系统后最终输出不变,说明它不是责任方,不应让它继续参与规则生成;如果改动路由系统后最终输出立即变化,则路由系统应被定为唯一责任方,并把内容系统的网址字段降级为普通数据。
旧系统退出不等于旧规则全部作废。有些旧网址仍有外部引用或历史访问价值,需要保留。此时不要让两套系统同时保留生成能力,而是把有价值的部分迁移到责任方名下。
需要说明的是,对已收录网址使用 robots.txt 限制抓取,并不等于可靠的索引移除;站点地图也不保证收录。因此保留或移除的决策,应基于最终输出和实际访问价值,而不是基于某一份提交记录是否还在。
假设某站点旧合作方提供的页面由 A 系统生成网址,新站点由 B 系统生成网址,两者都写入同一份对外文件。若 A 系统停用后对外文件中该类网址数量减半,但搜索端仍能访问其中一部分,则先按上面的证据法对比生成记录与最终输出。若最终输出仍由 B 系统的模板补全,则责任方是 B,A 的退出只需停止写入;若最终输出仍来自 A 的缓存或旧文件,则责任方仍是 A,需要先完成输出链切换再退出。
把责任方定在最终写入点,其他系统只做输入,旧内容、旧系统和旧合作关系的退出才有可验证的判断依据,保留与删除也不会互相打架。