答案取决于一个前提:这项人工判断是否有可复现的判定规则。如果规则能写成清晰的通过/不通过条件,自动评分可以承担初筛,但必须保留人工覆盖入口;如果规则依赖语境、意图或商业取舍,自动评分只能作为参考信号,不能作为最终结论。多数团队出问题,不是因为用了评分,而是因为没有区分这两类项目,把本该人工裁决的项交给了默认分数。
把待评估项目分成两类,处理方式完全不同。
区分方法很简单:让两个人分别独立判断同一批样本,如果结论一致率很高,说明规则可写;如果同一页面两人给出相反结论,说明它依赖语境,不应被单一分数决定。
当判定条件能写成明确规则,自动评分的价值是节省重复劳动。实施动作是:为每个规则项设定阈值和告警级别,评分只负责把项目分成“明显通过”“需要看”“明显不通过”三档,中间档进入人工队列。
关键动作是保留覆盖记录。人工把某个告警项判定为可接受时,要记录原因和判定人。这个记录会影响下一步:如果同一规则反复被人工覆盖,说明阈值设置不合理,应调整规则,而不是继续让评分制造噪音。反过来,如果人工很少覆盖,说明该规则可以继续自动化。
例外情况:涉及法律、品牌声誉或付费投放的页面,即使规则判定通过,也应保留人工确认环节,因为这类错误的代价不对称。
当项目依赖意图、语境或商业判断,自动评分不应输出“合格/不合格”,而应输出“值得查看的理由”。例如工具提示某页面内容偏短,这只是线索,人工需要判断它是否已经完整回答了问题。
实施动作是改变评分在流程中的位置:把评分结果放在人工判断之前作为参考,而不是之后作为验收标准。评审人先看页面本身,再看评分提示,避免被分数锚定。如果先看分数,人工判断容易变成对分数的解释,而不是独立评估。
这一步的结果直接影响后续动作:如果评审人独立结论与评分提示经常不一致,说明该评分项不适合作为验收依据,应从验收清单移到参考清单;如果一致率高,可以逐步把该规则升级为初筛项。
假设某团队用工具评估一批产品页,工具对“内容深度”给出低分。若团队直接按分数重写所有低分页面,可能把原本精准简洁的页面改得冗长,反而偏离用户意图。若团队先抽样人工阅读,发现低分主要集中在规格型页面,而这些页面本就该简短,那么正确动作是调整该评分项对页面类型的适用条件,而不是批量改写。这个例子的数字和结论都是假设,用于说明先验证规则适用性再决定动作的顺序。
自动评分替代人工判断,通常发生在评分无法被质疑的流程里。要防止这一点,需要三个机制。
这三个机制共同作用的结果是:评分负责处理确定性高的部分,人工负责处理语境部分,两者的边界由实际覆盖数据决定,而不是由工具默认设置决定。如果某个评分项长期无人质疑也无人覆盖,可以继续使用;如果覆盖频繁,就说明它还不具备替代人工的条件。