额度有限时,优先把次数花在“能改变你下一步动作”的样本上,而不是花在“看起来整齐”的样本上。更具体地说:如果候选页面之间的差异本身就能解释结果差异,就选差异最大的几组做对照;如果候选页面高度同质,只选一个代表页加一个边界页,剩下的额度留给验证。判断标准不是样本多不多,而是这批样本能否让你在两种相反的解释之间做出取舍。
很多人凭直觉认为,查询额度越紧张越要“广泛覆盖”,于是把有限的次数摊到大量页面上,每个页面只查一次。结果往往得到一堆相似数据,看不出任何可用的因果线索。另一种做法正好相反:把大部分额度集中到少数几个页面,反复查、换条件查。这两种做法都成立,但成立条件不同。
摊大饼式查询适合一种情形:你只需要确认某个现象是否普遍存在,比如“这类模板页是否普遍缺少可索引内容”。此时每个样本只需回答是或否,样本量本身就是信息。集中式查询适合另一种情形:你需要解释某个现象为什么发生,比如“为什么同一栏目下有的页面能被正常处理、有的不能”。此时单页的多次对照比多页的单次快照更有价值。
当你发现一批页面表现不一致时,通常有两种解释在竞争。
解释一:差异来自页面本身。比如正文长度、内链数量、发布时间、是否有结构化数据。这种解释要求你按这些变量分层取样:每一层取一个代表,且各层之间只在一个变量上有明显差别。
解释二:差异来自外部处理节奏。比如抓取顺序、发现时间、站点整体处理状态。这种解释要求你取同一页面在不同时间点的快照,或取同一时间点下、页面特征几乎相同但结果不同的两个样本。
区分这两种解释的关键证据是:如果你改变页面特征,结果跟着变,支持解释一;如果你不改变页面特征,只改变观察时间,结果跟着变,支持解释二。额度有限时,先做能区分这两种解释的最小对照,而不是先做全站普查。
假设你有一个栏目,里面 20 个页面,其中 5 个表现异常。你只剩 6 次查询额度。一个可用的分配方式如下(仅为说明比较方法的假设例子,不代表任何工具的真实额度):
这样做的结果会影响下一步:如果异常组和正常组在页面特征上确实有稳定差别,下一步就应该去改页面,而不是继续加样本;如果两组特征接近、结果却不同,下一步就该怀疑处理节奏或站点整体状态,继续扩大页面样本的收益会很低。
取舍一:代表性还是边界性。代表性样本让你知道“通常是什么样”,边界样本让你知道“什么条件下会变”。额度少时,边界样本的信息量往往更高,因为它能划出适用范围的边。
取舍二:横向对照还是纵向对照。横向对照比较不同页面,纵向对照比较同一页面的不同时间。前者适合验证页面特征假设,后者适合验证处理节奏假设。先想清楚你要排除哪一个解释,再决定方向。
取舍三:一次查全还是分批验证。一次查全看起来省事,但一旦结果和预期不符,你没有额度去追问原因。分批验证虽然慢,但每一批都能缩小下一批的范围。
先写下你当前最想排除的那个解释,再按下面的顺序做:
最后要提醒一点:查询结果里出现请求量下降、抓取量归零之类的现象,不能单独证明你的页面处理正确或错误。它还可能来自统计口径变化、工具自身的数据延迟、站点整体处理波动,或该页面本来就不在当前的发现范围内。把这些替代解释列出来,再判断手上的样本能不能排除它们,才是额度有限时最该做的事。