BroadRouter

切换服务商之前,如何评估大模型

BroadNet Inference 团队 · 阅读约 5 分钟 · 发布于

收集 50 到 200 个已知正确结果的真实提示词。先用代码检查给两个模型打分,只有代码无法判断时才用 LLM 评审。交换答案顺序以抵消位置偏差,评审模型选第三个模型家族,用你自己的标注校验它,并在运行前定好通过规则,包括成本和延迟。

切换大模型之前,先在 50 到 200 个已知正确结果的真实提示词上运行两个模型。先用代码检查打分,只有代码无法判断时才使用去偏差的 LLM 评审;同时记录成本和延迟,并提前定好通过规则。

代码改动本身很小:使用 OpenAI 兼容 API 时,只需改 base URL 和模型 ID。这部分见迁移检查清单,价格、限额和隐私见服务商检查清单。难的是判断新模型在你的任务上是否一样好。公开排行榜回答不了这个问题;Artificial Analysis 及其替代品适合用来列候选名单。用你自己的流量构建一个小型评估(eval)集就能回答,只需一两天的工作量。

如何用真实流量构建评估集?

  1. 从用量日志中提取 300 到 1,000 个近期请求,先做脱敏。
  2. 按任务类型分组:信息抽取、分类、摘要、对话回复、代码修改、工具调用。
  3. 每种类型抽取 10 到 40 个,高流量或高风险的类型多抽一些。包括长提示词、非英文输入和用户投诉过的案例。
  4. 为每个用例写出预期结果:一个精确值、一个 schema、一个必须通过的测试,或一份简短的评分标准(“提到退款期限;没有编造政策”)。
  5. **标记关键用例。**发票总额算错或泄露指令,和语气稍差不是一回事。
  6. **在版本控制中冻结它。**发现新的失败时添加用例,绝不为了让某个模型显得更好而删除用例。

哪些检查用代码,哪些用评审?

每个用例都用最便宜且可靠的检查方式:

任务 检查方式 需要评审吗?
JSON 抽取 能解析、通过 schema 校验、字段等于预期 否
分类 标签等于预期 否
代码修改 测试通过 否
工具调用 函数正确,参数通过校验 否
摘要 包含必需的事实;没有原文中不存在的事实 有时
对话回复、语气、有用性 评分标准 是

确定性检查免费、可重复,而且不会被“讨好”,所以尽量把用例放进代码检查。

LLM 评审会出哪些问题?

LLM 评审(LLM-as-a-Judge)是按评分标准给其他模型的答案打分的模型。MT-Bench 研究(Zheng 等)发现,强评审模型与人类偏好的一致率超过 80%,和人类彼此之间的一致率差不多。同一篇论文也指出了设计时必须规避的偏差:

偏差 表现 缓解方法
位置偏差 偏爱先出现(或后出现)的答案 每对答案交换顺序评两次;只有两次一致才算胜出
冗长偏差 偏爱更长的答案 评分标准奖励正确和简洁;在提示词中限制长度
自我偏好 偏爱与自己风格相近的答案 评审模型与两个候选模型属于不同家族
推理薄弱 漏掉数学或代码中的错误 这类用例改用代码检查

实践中还有两条规则。固定评审:整个比较过程使用同一个模型版本、同一个提示词、temperature 0。校准评审:自己标注 30 到 50 对答案,让评审在这些答案上运行,只有它大多数时候与你一致时才信任它。Arize 的评估器指南给出了同样的建议(“Collect 20–100 examples”,译文:收集 20–100 个样例,并配人工标注),并推荐使用 pass/fail 这类分类标签,而不是大范围的数值打分。

如何做并排比较?

在每个用例上运行两个候选模型,对评审隐去模型身份,交换顺序,并记录成本和耗时:

import os, random, time, json
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3"  # a third family, pinned

def run(model, case):
    t0 = time.perf_counter()
    r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
    return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
            "secs": time.perf_counter() - t0}

def judge(case, first, second):
    prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
              f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
              'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
    r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
                                       response_format={"type": "json_object"},
                                       messages=[{"role": "user", "content": prompt}])
    return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))

def compare(case):
    a, b = run(A, case), run(B, case)
    if case.get("check"):                       # deterministic first
        return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
    w1 = judge(case, a["text"], b["text"])      # A shown first
    w2 = judge(case, b["text"], a["text"])      # B shown first
    winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
    return {"winner": winner, "a": a, "b": b}

交换规则意味着,只有评审在两个位置上都偏爱某个模型时,它才算胜出;任何分歧都算平局。分歧的比例本身也有用:比例高说明评审或评分标准太模糊。注意 max_tokens=4000:在思考模型上,思考过程也计入上限,上限太低会产生看起来像失败的空回答。参见为什么思考模型会返回空回复。

多大的差异才是真实的?

评估得分是样本。对于 n 个用例上的通过率 p,标准误差为 √(p × (1 − p) ÷ n),95% 误差范围约为它的两倍。

用例数 通过率 95% 误差范围
50 80% 约 ±11 个百分点
100 80% 约 ±8 个百分点
200 80% 约 ±6 个百分点
400 80% 约 ±4 个百分点

所以在 100 个用例上,一个模型得 82%、另一个得 79%,并不能证明前者更好。要看逐个用例的差异:哪些用例从通过变成了失败?这比总分更能说明问题,而在关键用例上,一次翻转就可能决定是否切换。

决策规则应该怎么定?

在运行评估之前写好,这样结果就无法左右规则。一个实用模板:

  1. 任何标记为关键的用例都不得退步。
  2. 总体通过率比当前模型低的幅度不超过误差范围。
  3. p95 延迟在预算之内;测量方法见 TTFT 与吞吐量。
  4. 每个成功用例的成本更低,或者只高出你们已经认可值得为质量付出的那部分。用大模型 API 成本计算器算出每月的差额。
  5. 影子运行期:把一部分线上流量发给新模型,两边都记录,比较之后再正式切换。

如果你在考虑定制模型,这套评估集也是起点:微调之前介绍了什么时候提示词和检索就已足够。

BroadNet Inference 的情况

BroadNet Inference 在同一个 OpenAI 兼容端点后提供多个模型家族,包括 DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B,所以候选模型和来自另一个家族的评审模型可以用同一个客户端和密钥运行。每个响应都带有 token 用量,便于比较成本;新账户有 $5 的初始额度,但不充值时这笔额度只能用于 Gemma 4 VL 26B,所以要比较更大的模型,请计划少量充值。它不提供评估框架或托管的评审工具;上面的代码需要你自己运行。如果是阿拉伯语工作负载,如何为阿拉伯语选择大模型列出了需要测试的内容。各模型价格的并排对比见对比页面。

常见问题

大模型评估集需要多少个样例?

50 个足以发现大的退步,200 个才能看出 5 到 10 个百分点左右的差异。覆盖面比数量更重要,所以要包含每种任务类型和已知的失败案例。

用大模型当评审(LLM-as-a-Judge)可靠吗?

部分可靠。在 MT-Bench 研究中,强评审模型与人类偏好的一致率超过 80%,和人类彼此之间的一致率差不多。但它们也存在位置偏差、冗长偏差和自我增强偏差,所以要去偏差并抽查。

评审模型能和被测模型用同一个吗?

不能。评审模型往往偏爱看起来像自己写的答案。请使用另一个模型家族的评审模型,并在整个比较过程中固定为同一个版本。

大模型评估中的位置偏差是什么?

评审模型不管质量如何,总偏爱排在第一个(或第二个)的答案。解决方法是每对答案交换顺序评两次,只有两次结果一致时才算胜出。

成本和延迟要放在同一次评估里比较吗?

要。为每次评估调用记录 token 和耗时。一个模型得分高两个百分点,但成本或延迟是三倍,切换过去可能仍然是错误的选择。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity