隐藏链接检测：被删除页面的数据应怎样保留在历史对比中
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /d1a819e156ce.html
📄
隐藏链接检测：被删除页面的数据应怎样保留在历史对比中
被删除的页面不应从对比数据中彻底消失，而应转为“冻结记录”：保留其最后一次可核验的状态、删除时间和删除原因，同时把它从当前活跃集合中移出。这样你既能看到历史总量为何变化，也不会把已删页面继续当作现行页面参与检测。关键前提是：删除动作已经确认，且你手头至少有一份删除前的抓取或导出资料。
先判断你手里的资料属于哪一类
打开你保存的那份页面清单或抓取结果，逐项确认它记录的是删除前状态还是删除后状态。常见有三类：删除前的完整抓取、搜索引擎缓存或第三方估算的历史快照、站内日志或导出文件。三者的口径不同，不能混在一张表里直接相加。
- 删除前完整抓取：字段最全，适合作为冻结记录的主版本。
- 第三方历史快照：只能证明某时间点曾存在该页面，不能证明页面上的链接当时全部有效。
- 站内日志或导出：能反映站内实际访问或导出动作，但未必覆盖外部链接关系。
假设你只有一份第三方估算的历史快照，那么它只能用于标记“该页面曾经存在”，不能用来还原删除前的链接明细。下一步应优先寻找站内导出或旧抓取文件补齐字段；如果找不到，就在冻结记录中明确标注该条目的证据等级较低。
把删除页面转为冻结记录的具体动作
对确认已删除的每一个页面，执行以下四步，并把结果写入同一份历史对比表：
- 把页面状态从“活跃”改为“已删除”，并记录删除日期。
- 保留删除前最后一次抓取中的关键字段，例如页面地址、出站链接数量、被链接情况。
- 新增一列“删除原因”，区分主动下线、迁移合并、内容失效等不同情况。
- 在对比计算时，把该页面从当前活跃总量中扣除，但保留在历史总量中。
这个动作的直接结果是：历史总量与当前总量的差值可以解释为“删除导致的变化”，而不是误判为检测遗漏或数据丢失。下一步的检测范围也因此收窄，你只需关注仍在活跃集合中的页面。
历史对比中要区分三种变化来源
当隐藏链接检测的总量出现下降时，至少存在三种合理解释，不能只归因于某一种：
- 页面被删除：冻结记录中的删除条目可以解释这部分减少。
- 抓取范围变化：本次抓取未覆盖上次覆盖的某些目录或参数。
- 第三方估算口径变化：不同时间点的估算方法或样本不同，导致数值不可直接比较。
要区分它们，可以把本次与上次的页面地址列表做交集和差集。差集中属于冻结记录的条目，归因于删除；差集中不属于冻结记录的条目，才需要进一步排查抓取遗漏。这一步能把“删除”从“遗漏”中剥离出来，避免把正常下线误判为检测故障。
冻结记录需要保留哪些字段才够用
字段太少，历史对比就无法解释变化；字段太多，维护成本又会上升。对隐藏链接检测而言，以下字段是必要集合：
- 页面地址与首次发现时间
- 最后一次抓取时间与抓取来源
- 删除确认时间与删除原因
- 删除前的出站链接数量或链接明细摘要
- 该条目在历史对比中的状态标记
如果删除前的链接明细摘要缺失，就只保留数量，并在备注中说明明细不可得。这样下次对比时，你能明确知道哪些条目只能做数量层面的比较，哪些可以做链接层面的比较。这个区分会直接影响你下一步是否需要对同类页面做补充抓取。
什么时候该把冻结记录移出对比表
冻结记录不是永久保留项。满足以下条件之一时，可以考虑把它移出主对比表，转入归档：
- 该页面删除已超过你设定的对比窗口，且不再影响当前检测结论。
- 同一地址已由新页面替代，且替代关系已记录在迁移条目中。
- 该条目连续多次对比中未产生任何解释性作用。
移出前，先确认当前对比表不再依赖它来解释总量变化。如果删除条目仍在解释某次下降，就应继续保留，直到该次变化被新的基线吸收。这个判断的依据是：冻结记录是否还在承担“解释差值”的功能，而不是它存在了多久。
