新人看单一指标就下结论,资深人员先找反例,这种分歧往往不是谁更懂,而是证据门槛不同。对照证据的可行做法是:把“出现与直觉相反的结果”拆成可核对的时间线、对照面和动作记录,再判断该补数据还是该改动作。
条件一:结果与预期相反,但你的改动只发生在一个页面或一个小范围。此时先核对改动前后的对照面,再决定是否继续扩大改动。条件二:结果与预期相反,同时多个页面或多个渠道都出现类似变化。此时先核对时间线,再决定是否暂停改动并回查外部因素。
两种条件的分界点是可归因范围。范围小,优先用页面级对照;范围大,优先用时间线对照。选错方向会让下一步动作建立在错误前提上。
把双方的说法各写一行,再给每行配一个能证伪的证据项。假设某页流量下降,新人判断是标题改动导致,资深人员判断是季节波动。可对照的证据包括:
证据的作用不是证明谁对,而是排除解释。能排除的解释越多,剩下的判断越可靠。
第一步,选定一个改动页面和一个未改动对照页面,记录两者在改动前后的同一指标。第二步,把时间线画成日期序列,标出改动日、首次异常日和恢复日。第三步,根据对照结果决定下一步:
这个动作的结果直接影响下一步:对照成立时,页面级改动值得继续验证;对照不成立时,继续改页面只会消耗时间。
假设某学习手册站点把一篇教程的标题改得更短,两周后该页点击下降。新人认为标题变短导致,资深人员认为同期搜索需求本身下降。对照证据:同主题另一篇未改标题页面同期点击也下降,且下降集中在同一周。此时更合理的解释是需求波动,而不是标题改动。下一步应暂停标题回滚,先观察一个完整周期。若对照页稳定而改动页持续下降,才把标题改动列为优先验证对象。
对照法在以下情况会失效:改动与异常间隔过长,无法建立时间关联;站点规模太小,找不到可对照页面;外部事件本身无法拆分。遇到这些例外,不要强行归因,改为记录观察日志,等证据积累到可区分时再判断。资深人员的优势不是结论更快,而是更早承认证据不足。
新人要练的不是复制结论,而是学会给每个解释配一个可证伪的证据项。当双方诊断不同时,先对照证据,再决定改数据还是改动作。