---
title: "什么是 LLM-as-a-judge？用大模型自动评测详解 | BroadRouter"
description: "LLM-as-a-judge 用一个语言模型按评分标准给另一个模型的输出打分。它的原理、已知偏差，以及如何让评分更可靠。"
url: https://broadrouter.com/zh/glossary/llm-as-judge/
lang: zh-Hans
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/glossary/llm-as-judge/)（2026-11-14 更新）。

# LLM-as-a-judge（大模型评审）

更新于 2026-11-14

LLM-as-a-judge 是一种评测方法：由一个语言模型给其他模型的输出打分，要么按评分标准给单个回答打分，要么从两个回答中挑出更好的一个。它以低得多的成本近似人工判断，但有已知偏差，比如偏爱排在前面或更长的回答。

又称： 大模型评审、大模型裁判、LLM 裁判、LLM 评委、模型打分、模型评分、LLM-as-a-judge、LLM as a judge、LLM judge、model-graded eval、AI judge、LLM grader

LLM-as-a-judge 用一次模型调用代替人工评分：把问题、回答和评分标准交给它，读回一个分数。

## 原理

Zheng 等人（2023）深入研究了这种方法，为此构建了 MT-Bench（多轮问题）和 Chatbot Arena（众包的一对一投票）。他们的主要结论：GPT-4 作为评审，与专家和众包的偏好一致率都 “at over 80%“（译文：超过 80%），与人与人之间的一致水平相同。

常见的设置有两种：

-   **单回答评分。** 评审按书面标准给一个输出打分，比如 1 到 5 分。OpenAI 的评分器指南把它称为 `score_model` 评分器，返回 “a numeric score based on the prompt within the given range.”（译文：根据提示词在给定范围内给出的数值分数。）
-   **两两比较。** 评审看到同一问题的两个回答，选出更好的一个，或判为平局。

评审提示词通常包括原始问题、回答、参考答案（如果有）和评分标准。让它先给出简短理由再打分，并用[结构化输出](https://broadrouter.com/zh/glossary/structured-output/)约束分数格式，方便代码解析。

## 为什么重要

每次改提示词都要跑成千上万条[评测](https://broadrouter.com/zh/glossary/eval/)用例，人工评分无法扩展到这个规模。评审模型可以，但它带来了 Zheng 等人测量过的偏差：

| 偏差 | 表现 | 缓解办法 |
| --- | --- | --- |
| 位置 | 偏爱第一个（或第二个）回答 | 交换顺序并要求结果一致 |
| 冗长 | 偏爱更长的回答 | 在评分标准中奖励简洁；限制长度 |
| 自我偏好 | 偏爱自家模型的风格 | 用另一个模型做评审 |

评审也不擅长核对它无法验证的数学和事实。这类情况请给评审提供参考答案，或改用基于代码的检查。漏掉[幻觉](https://broadrouter.com/zh/glossary/hallucination/)的评审只会带来虚假的信心。

## 在 BroadNet Inference 上

BroadNet 不提供托管的评分服务；评审调用需要你自己基于对话补全端点来写。评审调用和普通请求一样计费，所以评审读取的回答越长，每条用例增加的[输入和输出 token](https://broadrouter.com/zh/glossary/input-and-output-tokens/) 就越多。可以用[大模型 API 费用计算器](https://broadrouter.com/tools/llm-api-cost-calculator/)估算一次评测的费用。如果评审是推理模型，请在 `max_tokens` 中留出余量，因为思考（reasoning）内容也计入其中。完整流程参见[更换大模型前先做评测](https://broadrouter.com/zh/blog/evaluate-llm-before-switching/)。

## 常见问题

### LLM-as-a-judge 准确吗？

Zheng 等人发现，GPT-4 作为评审与人类偏好的一致率超过 80%，与人类彼此之间的一致率大致相当。在信任它之前，请先在你自己的任务上检查一致率。

### 评审模型应该和被测模型是同一个吗？

最好不要。Zheng 等人报告了自我偏好偏差，Anthropic 的指南也把使用另一个模型来评分视为最佳实践。

### 两两比较时怎样减少位置偏差？

每组比较跑两次，第二次交换回答的顺序；只有两次都选中同一个回答才算赢。

## 另请参阅

-   [评测（eval，LLM evaluation）](https://broadrouter.com/zh/glossary/eval/)（术语）
-   [AI 幻觉（hallucination）](https://broadrouter.com/zh/glossary/hallucination/)（术语）
-   [结构化输出（structured output）](https://broadrouter.com/zh/glossary/structured-output/)（术语）
-   [温度（temperature）](https://broadrouter.com/zh/glossary/temperature/)（术语）
-   [输入 token 与输出 token](https://broadrouter.com/zh/glossary/input-and-output-tokens/)（术语）
-   [用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/)（指南）
-   [切换服务商之前，如何评估大模型](https://broadrouter.com/zh/blog/evaluate-llm-before-switching/)（文章）

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-llm-as-judge&utm_content=page-cta) ·

**来源**

-   [Zheng 等：Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena（arXiv）](https://arxiv.org/abs/2306.05685)
-   [Anthropic：构建有力的实证评测（基于 LLM 的评分）](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)
-   [OpenAI：评分器指南（score\_model 评分器）](https://developers.openai.com/api/docs/guides/graders)
