LLM-as-a-judge 用一次模型调用代替人工评分:把问题、回答和评分标准交给它,读回一个分数。
原理
Zheng 等人(2023)深入研究了这种方法,为此构建了 MT-Bench(多轮问题)和 Chatbot Arena(众包的一对一投票)。他们的主要结论:GPT-4 作为评审,与专家和众包的偏好一致率都 “at over 80%“(译文:超过 80%),与人与人之间的一致水平相同。
常见的设置有两种:
- 单回答评分。 评审按书面标准给一个输出打分,比如 1 到 5 分。OpenAI 的评分器指南把它称为
score_model评分器,返回 “a numeric score based on the prompt within the given range.”(译文:根据提示词在给定范围内给出的数值分数。) - 两两比较。 评审看到同一问题的两个回答,选出更好的一个,或判为平局。
评审提示词通常包括原始问题、回答、参考答案(如果有)和评分标准。让它先给出简短理由再打分,并用结构化输出约束分数格式,方便代码解析。
为什么重要
每次改提示词都要跑成千上万条评测用例,人工评分无法扩展到这个规模。评审模型可以,但它带来了 Zheng 等人测量过的偏差:
| 偏差 | 表现 | 缓解办法 |
|---|---|---|
| 位置 | 偏爱第一个(或第二个)回答 | 交换顺序并要求结果一致 |
| 冗长 | 偏爱更长的回答 | 在评分标准中奖励简洁;限制长度 |
| 自我偏好 | 偏爱自家模型的风格 | 用另一个模型做评审 |
评审也不擅长核对它无法验证的数学和事实。这类情况请给评审提供参考答案,或改用基于代码的检查。漏掉幻觉的评审只会带来虚假的信心。
在 BroadNet Inference 上
BroadNet 不提供托管的评分服务;评审调用需要你自己基于对话补全端点来写。评审调用和普通请求一样计费,所以评审读取的回答越长,每条用例增加的输入和输出 token 就越多。可以用大模型 API 费用计算器估算一次评测的费用。如果评审是推理模型,请在 max_tokens 中留出余量,因为思考(reasoning)内容也计入其中。完整流程参见更换大模型前先做评测。