URL规范化，同一地址因设备或登录状态返回不同内容怎样对照
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /544653837def.html
📄
URL规范化，同一地址因设备或登录状态返回不同内容怎样对照
先给结论：不要拿两个“看起来一样”的页面做对照，而要先固定设备与登录状态这两个变量，再按“是否影响索引”把差异分成两类。如果差异只影响版式、推荐位或价格展示，通常不改变规范目标；如果差异改变了主体内容、可抓取链接或返回状态，就必须先决定保留哪个版本，再处理旧版本的退出。对照的含义是让同一地址在受控条件下产生可比较的响应，而不是追求所有设备完全一致。
先固定两个变量，再谈差异是否成立
设备差异和登录状态是两条独立的轴。移动端与桌面端可能返回不同模板、不同数量的内链，甚至不同的状态码；登录与未登录可能返回个人中心、已购内容或不同的跳转。对照前至少固定四项：请求的完整地址（含协议、主机名、路径、查询串）、User-Agent、Cookie 与登录凭据的有无、请求时间。任何一项变化，都可能让两次响应不可比。
一个可执行的动作是：对同一地址分别记录“未登录桌面”“未登录移动”“已登录桌面”“已登录移动”四组响应，只比较状态码、最终地址、页面主体标题与主要链接集合。结果会直接决定下一步——如果四组的状态码和最终地址一致，差异属于展示层，规范目标可以保持不变；如果出现跳转或状态码分叉，就必须先确定哪个版本是要保留的规范目标。
差异只影响展示时，保留原地址并收敛模板
当四组响应都返回同一状态码、都停在同一个最终地址，差异集中在排版、模块顺序或未登录可见的占位内容时，这类情况通常不需要改规范目标。此时更值得做的是收敛模板输出：让同一路径在两种设备下输出一致的主体标题和主要链接，减少因模板分支造成的抓取差异。
选择依据是：主体内容是否相同、主要链接是否可抓取、是否存在按设备跳转到不同路径。三者都稳定，就保留原地址；其中任何一项分叉，就进入下一类处理。例外是登录后返回的内容本身不属于公开可索引范围，这种差异不必强行对齐，只需确认未登录版本仍然可用且指向明确。
差异改变主体或状态时，先决定哪个版本留下
如果登录状态导致未登录访问被跳转到登录页，或移动端被重定向到另一套路径，对照就不再是“比较展示”，而是“选择保留对象”。判断标准有三条：哪个版本承载公开主体内容、哪个版本有稳定的入站链接、哪个版本的状态码与最终地址可预测。满足前两条的版本通常应作为保留目标，第三条用于验证保留后是否仍可被正常访问。
实施动作是：把保留版本设为规范目标，让其余版本以跳转或规范声明指向它，并在改动后重新执行同一组四条件对照，确认状态码与最终地址已经收敛。这一步的结果决定后续清理范围——收敛成功，旧路径才适合进入退出流程；仍有分叉，就不应继续下线旧内容。
旧内容退出的前提是价值已被承接
旧系统或旧合作关系退出时，最容易出错的是把“不再维护”当成“可以直接删除”。删除前要确认三件事：旧地址是否仍有外部链接、旧内容中是否还有未被新页面覆盖的信息、旧地址是否被站内其他页面引用。三项都无，才考虑移除；任一项存在，就先承接再退出。
承接的具体动作包括：把仍有价值的部分合并到保留页面，把旧地址指向新的规范目标，并更新站内引用。做完这一步后，再观察旧地址的访问是否仍能到达有效内容。如果访问量下降但有效内容仍可达，说明承接在起作用；如果直接返回错误，则说明退出顺序反了，应回退到承接阶段。
对照记录要能复查，而不是只留一张截图
设备与登录状态的差异会随时间变化，只保存页面截图不足以复查。建议记录：请求地址、请求条件、响应状态码、最终地址、主体标题、主要链接数量。这样当后续出现异常时，可以判断是模板变化、登录策略变化，还是旧地址退出造成的。
需要提醒的是，抓取限制不等于索引移除，站点地图也不保证收录。若旧地址仍被访问，应先确认是链接残留、缓存还是其他合理解释，不要仅凭某一项统计归零就断定处理正确。对照的目的始终是让每个地址在明确条件下有唯一可预期的响应，而不是让所有设备返回完全相同的页面。
