能做的主要是“旁路调整”:在不改模板的前提下,用服务器层、边缘层和内容层的手段改变抓取与呈现结果;但模板输出的链接结构、标题层级和正文顺序通常动不了,这就是边界。判断某次调整是否值得做,先看它是否绕开了模板,以及绕开后是否真的改变了可抓取内容。
遗留系统上做域名年龄查询相关调整时,最常见的矛盾是:日志里抓取请求明显减少,但页面内容并没有任何变化。这时有两种解释。
能区分这两种解释的证据不同:前者看 robots.txt 的实际规则和被拦截的路径,后者看页面正文哈希是否长期一致、以及站内其他可更新页面的抓取占比是否上升。请求量归零本身不能单独证明哪一种,因为服务器故障、DNS 解析异常、证书过期也会产生同样的日志表现。
把可调整空间按“离模板的远近”分成三层,边界就清楚了。
这一层不碰模板文件,能改的是响应头和路由规则。例如对已经决定退出的旧路径返回 410,对仍需保留的路径保持 200,对临时下线的路径用 503 加 Retry-After。这些动作的结果会直接改变下一步:返回 410 后,如果日志里该路径请求持续下降,说明退出信号被接收;如果请求不降反升,要先检查是否有站内链接仍在指向它。
如果系统允许在模板之外插入片段,比如通过反向代理注入一段说明,或在数据库字段里追加内容,就能在不改模板的情况下补充“此内容已迁移”的提示和指向新地址的链接。边界在于:注入位置通常固定在页面某处,无法控制它出现在正文之前还是之后,因此对标题层级和正文顺序没有影响。
robots.txt 和站点地图属于这一层。需要明确:robots.txt 的抓取限制不等于可靠的索引移除,被禁止抓取的 URL 仍可能因外部链接出现在结果里;站点地图提交也不保证收录。这两条决定了它们只能作为辅助信号,不能当成下线手段。不同搜索引擎对这些文件的支持情况须分别核查,不能按同一套预期推断。
假设某旧站有 200 个页面,其中 30 个仍有外部链接和访问,其余已无价值。模板无法修改,无法批量加 canonical 或改导航。
这个例子里,第一步的结果决定第二步是否继续:如果 410 路径的请求没有下降,说明站内仍有入口在指向它们,需要先处理入口,再谈退出。数字仅用于说明比较方法,不代表任何实际站点的表现。
不改模板意味着不能改模板输出的链接、标题和结构化数据。因此以下动作在边界之外:批量修改全站导航、调整正文标题层级、给所有页面统一加 canonical。硬要在模板外模拟这些效果,往往只能覆盖部分页面,反而造成同一站点两套规则并存,后续排查更困难。
另一个容易越界的是把 HTTPS 当成安全或排名问题的解法。HTTPS 不保证安全无漏洞,也不保证排名,它只解决传输加密。遗留系统上如果证书配置本身有问题,先修证书,不要把它和内容退出混在一起处理。
先确认页面是否仍可访问,再确认抓取限制是否生效,最后才考虑内容注入。每一步的结果决定下一步:可访问性没确认之前,谈抓取和收录都没有意义;抓取限制没验证之前,注入内容可能只是给一个已经不被抓取的页面增加负担。