把自动评分只当作筛选器,而不是裁决者:先为每个候选词写下一句“为什么可能值得做”的人工理由,再让评分去验证或推翻它。如果一句话都写不出,说明这个项目还缺少可判断的业务前提,此时无论分数多高都不应进入下一步。
自动评分最容易悄悄顶替的,不是打分本身,而是“决定要不要看这个词”的那一步。你手里可能有一份导出的词表,字段包括词、月搜索量、竞争度、点击成本估算和一个综合分。当综合分被默认排序后,排在后面的词通常再也不会被人打开——替代就在排序那一刻发生了。
要防住这一点,先做一次动作:把词表按综合分排序,但额外标记出你原本凭经验会优先看的词。假设一份两百行的词表里,你凭经验会看的词有十五个,其中只有六个落在综合分前五十名。这个差值就是被自动评分挤掉的人工判断量,它决定了后面要补多少人工环节,而不是决定哪个分数更准。
人工判断之所以容易被评分替代,是因为它常常只停留在感觉里,无法与分数对质。把感觉转成条件,评分才有对手。对每个候选词,至少写下三类条件中的一类:
条件写完后,用评分逐条核对。如果某个高分词无法通过业务条件,就把它移入“待确认”而不是直接删除;如果某个低分词通过了全部条件,就把它提升到人工复核队列。这个动作的结果会改变下一步:待确认队列需要业务方回答,人工复核队列需要编辑判断,两者不能合并处理。
评分可以保留,但不能拥有最终否决权。更稳妥的做法是给评分设一个“可解释否决位”:当人工条件与评分冲突时,先记录冲突原因,再决定是否推翻分数。冲突原因通常有三类,需要区分对待。
假设一个词在评分中排在前列,但人工条件显示它指向的是已停售的服务。这里的正确动作不是调整评分权重,而是把该词从候选池移出,并在条件表中记录停售这一事实。这个记录会影响下一步:如果停售只是暂时的,该词可以进入观察队列;如果是长期的,则不再进入任何评分比较。
判断人工判断有没有被替代,不需要全量复核。抽取一个最小样本即可:从评分前二十名、中间二十名、后二十名各取五个词,共十五个,逐个人工判断并写下理由。然后比较两件事:人工判断的分布是否与评分分布一致,以及人工理由中是否出现了评分字段没有覆盖的信息。
如果十五个词里有十个的人工理由都能被评分字段解释,说明当前评分与人工判断重合度较高,可以适当减少人工复核量;如果超过一半的理由涉及评分未覆盖的业务条件,说明评分正在替代人工判断,需要扩大人工复核范围。这个结果直接决定下一步投入:重合度高时,人工只处理边界词;重合度低时,人工必须回到全量筛选的前端。
最后要留一条不经过评分的入口,否则人工判断永远只能在评分筛完之后进行,替代仍然发生。具体做法是:每周固定从原始来源——例如业务方反馈、客服记录、站内搜索词——直接取一批词,不经过综合分排序,先做人工条件判断,再补评分作为参考。
这条入口的作用不是否定评分,而是保证人工判断有机会接触评分之外的候选。如果一段时间后,这条入口产出的可用词占比明显高于评分排序后的词,就说明评分排序漏掉了重要条件,需要回头修改条件表;如果两者接近,则说明评分可以作为主要筛选器,人工只需处理冲突项。无论哪种结果,都不要用单次统计直接下结论,因为样本量、季节变化和业务调整都可能造成同样的现象。