死链处理方法：多个域名承载相似内容时怎样说明各自用途
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /191189acc2c1.html
📄
死链处理方法：多个域名承载相似内容时怎样说明各自用途
先给结论：不要只靠 robots.txt 或站点地图来“说明用途”。多个域名出现相似内容时，真正能区分它们角色的证据，是每个域名上独立、可访问、可被抓取的说明页，以及从这些页面出发的内链和跳转关系。如果这些说明页本身被 robots.txt 挡住，或者只存在于站点地图里而返回 404，那么搜索引擎和用户都看不到用途区分，相似内容就会继续被当成重复或竞争关系。
一个反常现象：越“屏蔽”，越像重复
常见做法是：主域名保留完整内容，其他域名放相同或近似的页面，然后用 robots.txt 禁止抓取次要域名，以为这样就能避免重复。结果往往相反——次要域名仍可能被其他来源发现并进入索引，而它又没有可读的用途说明，于是两个域名看起来都在提供同一件事。
这里要区分两个概念：抓取限制不等于索引移除。robots.txt 只约束爬虫抓取路径，不保证已经收录的 URL 会消失，也不保证外部链接指向的页面不被当作候选。把“禁止抓取”当成“说明用途”，是把两件事混在了一起。
两种解释，先别急着下判断
当多个域名承载相似内容、且你已做了某种屏蔽时，通常有两种解释：
- 解释一：用途说明缺失。各域名没有各自独立的定位说明，用户和爬虫只能看到相似正文，无法判断谁是主站、谁是备用、谁是地区站或活动站。
- 解释二：用途说明存在，但不可达。说明页被 robots.txt 拦截、返回 404、需要登录，或只写在站点地图里而页面本身打不开，因此等于不存在。
这两种解释对应的处理动作不同。前者要补内容，后者要修可达性。如果不先区分，就容易在错误的方向上反复调整。
能区分两种解释的证据
用浏览器无痕模式，逐个域名访问你声称的“用途说明页”，记录三件事：HTTP 状态码、页面是否渲染出说明文字、该页是否被 robots.txt 允许抓取。这三项能直接分开上面两种解释。
- 如果说明页返回 200、有可读文字、且未被 robots.txt 拦截，但正文仍与主站高度相似，偏向解释一：说明不够独立，需要把用途写进页面本身，而不只是写在别处。
- 如果说明页 404、被拦截或需要登录，偏向解释二：先修可达性，再谈内容区分。
- 如果说明页可达但没有任何指向主站或相关页面的内链，仍可能是解释一：用途没有通过链接关系表达出来。
站点地图在这里只能当辅助线索，站点地图不保证收录。它列出 URL，不等于这些 URL 会被抓取、被索引，更不等于其中的说明会被理解。把站点地图当作用途声明，证据强度不足。
假设例子：三个域名，如何各自说明用途
假设某业务有 a.example、b.example、c.example 三个域名，内容相似。可以这样设计，且以下仅为说明方法的假设，不是真实项目结果：
- a.example 作为主站，在首页和关于页明确写“本站为唯一主站，提供完整内容”。
- b.example 作为地区站，在首页写清服务地区，并链接到 a.example 的对应页面，而不是复制整站。
- c.example 作为活动或备用站，在首页写清有效期与用途，并给出返回主站的链接。
动作与结果的关系：当你为每个域名补上独立说明页并加上指向主站的链接后，下一步应复查这些说明页是否被抓取、是否出现在索引中。如果说明页可达但长期未被抓取，问题可能在内链不足或入口太深，而不是“屏蔽没生效”。如果说明页被抓取但相似正文仍在，则要回到正文层面做区分，而不是继续加 robots.txt 规则。
容易踩的三个坑
第一，把 HTTPS 当成用途区分。HTTPS 不保证安全无漏洞，也不保证排名，它和“这个域名是干什么的”没有直接关系。用它来证明域名角色，证据不成立。
第二，用 robots.txt 代替说明页。抓取限制不等于索引移除，也不等于向用户说明用途。真正需要被看到的说明，必须放在可访问的页面上。
第三，只在一个搜索引擎上验证。不同搜索引擎对 robots.txt、站点地图和索引的处理支持情况不同，须分别核查。在一个引擎上观察到的结果，不能直接套到另一个。
最后提醒一点：请求量、抓取量或某个统计归零，不能单独证明你的处理正确。它也可能是抓取预算转移、入口变更或统计口径变化造成的。要把“说明页是否可达、是否被抓取、是否表达了独立用途”作为判断依据，再决定下一步是补内容、修可达性，还是调整内链结构。
