---
title: "切换前怎样评估大模型：评估集与 LLM 评审 | BroadRouter"
description: "用真实流量构建一个小型评估集，先用代码检查、再用去偏差的 LLM 评审打分，在迁移前比较质量、成本和延迟。"
url: https://broadrouter.com/zh/blog/evaluate-llm-before-switching/
lang: zh-Hans
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/blog/evaluate-llm-before-switching/)（2026-11-14 更新）。

# 切换服务商之前，如何评估大模型

BroadNet Inference 团队 · 阅读约 5 分钟 · 发布于 2026-11-14

收集 50 到 200 个已知正确结果的真实提示词。先用代码检查给两个模型打分，只有代码无法判断时才用 LLM 评审。交换答案顺序以抵消位置偏差，评审模型选第三个模型家族，用你自己的标注校验它，并在运行前定好通过规则，包括成本和延迟。

## 要点

-   评估集要从真实日志中构建，而不是凭空编写提示词，并且要包含难例和失败案例。
-   优先使用确定性检查（JSON 能解析、字段相等、测试通过）。LLM 评审只用于代码检查不了的质量。
-   LLM 评审存在位置偏差、冗长偏差和自我偏好偏差。每对答案交换顺序评两次。
-   100 个用例时，80% 的得分有约 ±8 个百分点的 95% 误差范围。小差异只是噪声。
-   提前定好通过规则，包括成本、延迟，以及关键用例不得退步。

**本页内容**

1.  如何用真实流量构建评估集？
2.  哪些检查用代码，哪些用评审？
3.  LLM 评审会出哪些问题？
4.  如何做并排比较？
5.  多大的差异才是真实的？
6.  决策规则应该怎么定？
7.  BroadNet Inference 的情况

切换大模型之前，先在 50 到 200 个已知正确结果的真实提示词上运行两个模型。先用代码检查打分，只有代码无法判断时才使用去偏差的 LLM 评审；同时记录成本和延迟，并提前定好通过规则。

代码改动本身很小：使用 [OpenAI 兼容 API](https://broadrouter.com/zh/glossary/openai-compatible-api/) 时，只需改 [base URL](https://broadrouter.com/zh/glossary/base-url/) 和模型 ID。这部分见[迁移检查清单](https://broadrouter.com/zh/blog/openai-compatible-api-migration-checklist/)，价格、限额和隐私见[服务商检查清单](https://broadrouter.com/zh/blog/choose-llm-api-provider-checklist/)。难的是判断新模型**在你的任务上**是否一样好。公开排行榜回答不了这个问题；[Artificial Analysis 及其替代品](https://broadrouter.com/zh/blog/artificial-analysis-alternatives/)适合用来列候选名单。用你自己的流量构建一个小型[评估（eval）](https://broadrouter.com/zh/glossary/eval/)集就能回答，只需一两天的工作量。

## 如何用真实流量构建评估集？

1.  **从[用量日志](https://broadrouter.com/zh/blog/llm-api-usage-logging/)中提取 300 到 1,000 个近期请求**，先做脱敏。
2.  **按任务类型分组**：信息抽取、分类、摘要、对话回复、代码修改、工具调用。
3.  **每种类型抽取 10 到 40 个**，高流量或高风险的类型多抽一些。包括长提示词、非英文输入和用户投诉过的案例。
4.  **为每个用例写出预期结果**：一个精确值、一个 schema、一个必须通过的测试，或一份简短的评分标准（“提到退款期限；没有编造政策”）。
5.  \*\*标记关键用例。\*\*发票总额算错或泄露指令，和语气稍差不是一回事。
6.  \*\*在版本控制中冻结它。\*\*发现新的失败时添加用例，绝不为了让某个模型显得更好而删除用例。

## 哪些检查用代码，哪些用评审？

每个用例都用最便宜且可靠的检查方式：

| 任务 | 检查方式 | 需要评审吗？ |
| --- | --- | --- |
| JSON 抽取 | 能解析、通过 schema 校验、字段等于预期 | 否 |
| 分类 | 标签等于预期 | 否 |
| 代码修改 | 测试通过 | 否 |
| 工具调用 | 函数正确，参数通过校验 | 否 |
| 摘要 | 包含必需的事实；没有原文中不存在的事实 | 有时 |
| 对话回复、语气、有用性 | 评分标准 | 是 |

确定性检查免费、可重复，而且不会被“讨好”，所以尽量把用例放进代码检查。

## LLM 评审会出哪些问题？

[LLM 评审（LLM-as-a-Judge）](https://broadrouter.com/zh/glossary/llm-as-judge/)是按评分标准给其他模型的答案打分的模型。MT-Bench 研究（Zheng 等）发现，强评审模型与人类偏好的一致率超过 80%，和人类彼此之间的一致率差不多。同一篇论文也指出了设计时必须规避的偏差：

| 偏差 | 表现 | 缓解方法 |
| --- | --- | --- |
| 位置偏差 | 偏爱先出现（或后出现）的答案 | 每对答案交换顺序评两次；只有两次一致才算胜出 |
| 冗长偏差 | 偏爱更长的答案 | 评分标准奖励正确和简洁；在提示词中限制长度 |
| 自我偏好 | 偏爱与自己风格相近的答案 | 评审模型与两个候选模型属于不同家族 |
| 推理薄弱 | 漏掉数学或代码中的错误 | 这类用例改用代码检查 |

实践中还有两条规则。**固定评审**：整个比较过程使用同一个模型版本、同一个提示词、temperature 0。**校准评审**：自己标注 30 到 50 对答案，让评审在这些答案上运行，只有它大多数时候与你一致时才信任它。Arize 的评估器指南给出了同样的建议（“Collect 20–100 examples”，译文：收集 20–100 个样例，并配人工标注），并推荐使用 pass/fail 这类分类标签，而不是大范围的数值打分。

## 如何做并排比较？

在每个用例上运行两个候选模型，对评审隐去模型身份，交换顺序，并记录成本和耗时：

```python
import os, random, time, json
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3"  # a third family, pinned

def run(model, case):
    t0 = time.perf_counter()
    r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
    return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
            "secs": time.perf_counter() - t0}

def judge(case, first, second):
    prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
              f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
              'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
    r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
                                       response_format={"type": "json_object"},
                                       messages=[{"role": "user", "content": prompt}])
    return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))

def compare(case):
    a, b = run(A, case), run(B, case)
    if case.get("check"):                       # deterministic first
        return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
    w1 = judge(case, a["text"], b["text"])      # A shown first
    w2 = judge(case, b["text"], a["text"])      # B shown first
    winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
    return {"winner": winner, "a": a, "b": b}
```

交换规则意味着，只有评审在两个位置上都偏爱某个模型时，它才算胜出；任何分歧都算平局。分歧的比例本身也有用：比例高说明评审或评分标准太模糊。注意 `max_tokens=4000`：在思考模型上，思考过程也计入上限，上限太低会产生看起来像失败的空回答。参见[为什么思考模型会返回空回复](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)。

## 多大的差异才是真实的？

评估得分是样本。对于 n 个用例上的通过率 p，标准误差为 √(p × (1 − p) ÷ n)，95% 误差范围约为它的两倍。

| 用例数 | 通过率 | 95% 误差范围 |
| --- | --- | --- |
| 50 | 80% | 约 ±11 个百分点 |
| 100 | 80% | 约 ±8 个百分点 |
| 200 | 80% | 约 ±6 个百分点 |
| 400 | 80% | 约 ±4 个百分点 |

所以在 100 个用例上，一个模型得 82%、另一个得 79%，并不能证明前者更好。要看**逐个用例的差异**：哪些用例从通过变成了失败？这比总分更能说明问题，而在关键用例上，一次翻转就可能决定是否切换。

## 决策规则应该怎么定？

在运行评估之前写好，这样结果就无法左右规则。一个实用模板：

1.  任何标记为关键的用例都不得退步。
2.  总体通过率比当前模型低的幅度不超过误差范围。
3.  p95 延迟在预算之内；测量方法见 [TTFT 与吞吐量](https://broadrouter.com/zh/blog/llm-latency-ttft-throughput/)。
4.  每个成功用例的成本更低，或者只高出你们已经认可值得为质量付出的那部分。用[大模型 API 成本计算器](https://broadrouter.com/tools/llm-api-cost-calculator/)算出每月的差额。
5.  影子运行期：把一部分线上流量发给新模型，两边都记录，比较之后再正式切换。

如果你在考虑定制模型，这套评估集也是起点：[微调之前](https://broadrouter.com/zh/blog/fine-tuning-readiness/)介绍了什么时候提示词和检索就已足够。

## BroadNet Inference 的情况

BroadNet Inference 在同一个 OpenAI 兼容端点后提供多个模型家族，包括 [DeepSeek V4.1 Flash](https://broadrouter.com/zh/models/deepseek-v4.1-flash/)、[GLM 5.3](https://broadrouter.com/zh/models/glm-5.3/) 和 [Qwen3.8 27B](https://broadrouter.com/zh/models/qwen3.8-27b/)，所以候选模型和来自另一个家族的评审模型可以用同一个客户端和密钥运行。每个响应都带有 token 用量，便于比较成本；新账户有 $5 的初始额度，但不充值时这笔额度只能用于 [Gemma 4 VL 26B](https://broadrouter.com/zh/models/gemma-4-vl-26b/)，所以要比较更大的模型，请计划少量充值。它不提供评估框架或托管的评审工具；上面的代码需要你自己运行。如果是阿拉伯语工作负载，[如何为阿拉伯语选择大模型](https://broadrouter.com/zh/blog/choosing-an-llm-for-arabic/)列出了需要测试的内容。各模型价格的并排对比见[对比页面](https://broadrouter.com/compare/)。

相关免费工具（英文）

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[免费工具（英文）](https://broadrouter.com/tools/)

## 本文涉及的术语

[评测（eval，LLM evaluation）](https://broadrouter.com/zh/glossary/eval/)

评测（eval，evaluation 的简称）是对语言模型或提示词的可重复测试：一组固定的输入、对好输出的描述，以及给每个输出打分的评分器（代码、人工或另一个模型），以便比较不同版本。

[温度（temperature）](https://broadrouter.com/zh/glossary/temperature/)

温度（temperature）是控制语言模型输出随机程度的采样参数。模型先把每个 token 的分数除以温度，再转换成概率：温度低时，最可能的 token 占据主导；温度高时，分布变得平坦，可能性较低的 token 被选中的次数更多。

[Base URL（base\_url）](https://broadrouter.com/zh/glossary/base-url/)

base URL 是 API 固定的根地址，例如 https://api.example.com/v1，客户端会把它加在每个端点路径（例如 /chat/completions）前面。在 OpenAI 兼容 SDK 中，修改 base URL，再配合 API 密钥和模型 ID，就能让同一份代码改用另一家服务商。

[工具调用（tool calling / function calling）](https://broadrouter.com/zh/glossary/tool-calling/)

工具调用（也叫函数调用，function calling）是大模型 API 的一项功能：模型返回一个结构化请求，要求执行开发者定义的某个函数，并附上 JSON 参数。应用执行该函数并把结果发回；模型自己从不执行代码。

[命名实体识别（NER）](https://broadrouter.com/zh/glossary/named-entity-recognition/)

命名实体识别（NER）是在文本中找出名称、并为每个名称标注类型（如人物、机构或地点）的任务。传统系统给每个 token 打标签；大模型则通常被要求以 JSON 返回实体列表，再与原文核对。

[首 token 延迟（TTFT，time to first token）](https://broadrouter.com/zh/glossary/time-to-first-token/)

首 token 延迟（TTFT）是从向语言模型发出请求到第一个输出 token 到达的时间。它包括网络时间、服务器上的排队时间和预填充（模型读取整个提示词的步骤），所以会随提示词长度和负载增加。

[LLM-as-a-judge（大模型评审）](https://broadrouter.com/zh/glossary/llm-as-judge/)

LLM-as-a-judge 是一种评测方法：由一个语言模型给其他模型的输出打分，要么按评分标准给单个回答打分，要么从两个回答中挑出更好的一个。它以低得多的成本近似人工判断，但有已知偏差，比如偏爱排在前面或更长的回答。

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

## 常见问题

### 大模型评估集需要多少个样例？

50 个足以发现大的退步，200 个才能看出 5 到 10 个百分点左右的差异。覆盖面比数量更重要，所以要包含每种任务类型和已知的失败案例。

### 用大模型当评审（LLM-as-a-Judge）可靠吗？

部分可靠。在 MT-Bench 研究中，强评审模型与人类偏好的一致率超过 80%，和人类彼此之间的一致率差不多。但它们也存在位置偏差、冗长偏差和自我增强偏差，所以要去偏差并抽查。

### 评审模型能和被测模型用同一个吗？

不能。评审模型往往偏爱看起来像自己写的答案。请使用另一个模型家族的评审模型，并在整个比较过程中固定为同一个版本。

### 大模型评估中的位置偏差是什么？

评审模型不管质量如何，总偏爱排在第一个（或第二个）的答案。解决方法是每对答案交换顺序评两次，只有两次结果一致时才算胜出。

### 成本和延迟要放在同一次评估里比较吗？

要。为每次评估调用记录 token 和耗时。一个模型得分高两个百分点，但成本或延迟是三倍，切换过去可能仍然是错误的选择。

## 继续阅读

-   [如何选择大模型 API 服务商：20 项检查清单](https://broadrouter.com/zh/blog/choose-llm-api-provider-checklist/)
-   [迁移到 OpenAI 兼容 API：切换服务商检查清单](https://broadrouter.com/zh/blog/openai-compatible-api-migration-checklist/)
-   [如何选择阿拉伯语大模型 API：该测试什么](https://broadrouter.com/zh/blog/choosing-an-llm-for-arabic/)
-   [大模型 API 用量日志：按用户和功能算成本，脱敏 PII](https://broadrouter.com/zh/blog/llm-api-usage-logging/)
-   [大模型延迟：首 token 延迟、每秒 token 数与端到端耗时](https://broadrouter.com/zh/blog/llm-latency-ttft-throughput/)
-   [微调之前：先定义要解决的问题](https://broadrouter.com/zh/blog/fine-tuning-readiness/)
-   [BroadNet 的 GPU 硬件与推理部署方式（据 BroadNet 自述）](https://broadrouter.com/zh/blog/broadnet-gpu-fleet-and-serving/)
-   [缓存大模型 API 响应以降低成本：用 Python 实现精确匹配缓存](https://broadrouter.com/zh/blog/cache-llm-responses-cut-cost/)
-   [指南：用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/)
-   [指南：推理模型为什么返回空回答](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-evaluate-llm-before-switching&utm_content=page-cta) ·

**来源**

-   [Zheng 等，Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena，arXiv 2306.05685（2026-11-14 获取）](https://arxiv.org/abs/2306.05685)
-   [Arize 文档：评估器最佳实践（2026-11-14 获取）](https://arize.com/docs/ax/concepts/evaluators/evaluator-best-practices)
-   [BroadNet Inference API 参考（2026-11-14 获取）（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-evaluate-llm-before-switching&utm_content=sources)
-   [BroadNet Inference 机器可读价格，pricing.json（2026-11-14 获取）（英文）](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-evaluate-llm-before-switching&utm_content=sources)
