先给结论:删栏目真正难的不是删页面,而是找齐所有“指向它的入口”。如果只处理导航和栏目页,站内推荐位、旧文正文链接、面包屑、站点地图、结构化数据里的地址仍会把用户和抓取带向死链。要判断是否删干净,不是看栏目页返回什么状态,而是把站内所有引用该栏目路径的位置列出来,逐一决定保留、改指向还是同步移除。下面用一个假设情境把决策过程走完。
假设某站点原有“行业资讯”栏目,路径为 /news/,因内容与主营服务偏离,决定整栏下线。运营把栏目页和列表页做了移除处理,导航也去掉了入口。两周后,后台仍出现对 /news/ 下旧地址的抓取请求,部分页面甚至还有新收录。此时不能直接断定“处理没生效”,更合理的解释是:站内还有别的入口在持续暴露这些地址,或者外部链接、用户收藏、历史推送仍在引用。
这个情境的关键变化是:栏目从“有维护”变为“不再维护”。变化前,旧地址有正常入口和更新;变化后,入口应逐步收敛。如果入口没找齐,抓取和收录不会因为栏目页本身消失而自动停止。
找入口不要从页面类型入手,而要从“谁在引用这个路径”入手。可以分成三类:
处理顺序建议先模板级,再机器可读,最后内容级。原因是模板级和机器可读入口会成批放大引用,先切断它们,后续排查内容级时噪声更少。假设先改导航和站点地图,再观察抓取日志,如果对 /news/ 的请求明显下降,说明主要入口在模板层;如果请求仍集中在少数旧文,则问题在内容级链接。
具体动作:在站内搜索或数据库里检索该栏目路径的关键片段,例如 /news/,把命中的位置导出为一张引用清单,字段至少包括:所在页面、入口类型、是否可编辑、处理方式。不要只搜完整 URL,因为相对链接、带参数链接和跳转链接可能不包含完整域名。
清单出来后,按下面规则分流:
这一步的结果会直接影响下一步:如果清单里内容级入口占比高,说明单靠模板调整不够,需要安排编辑逐篇处理;如果几乎全是模板级入口,处理完即可进入复查阶段。
假设处理完成后,栏目页不再可访问,但搜索请求没有立刻归零。这不一定代表入口没找齐。合理的解释包括:抓取和收录更新有延迟;外部链接仍在;用户直接访问旧地址;数据采集口径不同。反过来,请求归零也不能单独证明处理正确,可能只是抓取频率暂时下降。
更稳妥的复查方式是做改动前后比较,并说明假设:把处理前两周与处理后两周的抓取请求、站内点击、入口点击做对比,同时考虑季节和搜索需求变化。如果站内点击下降但抓取请求仍高,优先查内容级和外部入口;如果两者都下降,再确认替代页面是否承接了原有需求。
判断标准可以落到一句话:站内可编辑的入口是否都已处理,不可编辑的入口是否有替代页面承接。前者决定你能不能控制,后者决定用户和抓取会不会继续找到旧地址。把这两件事分开看,比盯着单一指标更能决定下一步是继续排查还是收尾。