---
title: "什么是大模型基准测试？跑分、局限与数据污染 | BroadRouter"
description: "大模型基准测试是用来给模型打分、做横向比较的固定公开测试集，如 MMLU、SWE-bench。基准测试如何运作，以及为什么跑分不能代替你自己的评测。"
url: https://broadrouter.com/zh/glossary/llm-benchmark/
lang: zh-Hans
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/glossary/llm-benchmark/)（2026-11-16 更新）。

# 大模型基准测试（LLM benchmark）

更新于 2026-11-16

大模型基准测试是一组固定、通常公开的任务和评分方法，用来在某一项能力上衡量和比较语言模型，比如知识问答、编程或语音识别。基准分数反映的是模型在该测试上的相对能力，而不是它在你自己的业务负载上的表现。

又称： 大模型基准测试、大模型评测基准、大模型跑分、基准分数、评测榜单、模型基准、LLM benchmark、model benchmark、benchmark score

模型发布时总会附上一张基准分数表。了解基准测试能衡量什么、不能衡量什么，才不会因为看错数字而选错模型。

## 原理

基准测试固定三件事：任务、给模型提示的方式，以及评分规则。两个知名例子：

| 基准 | 测什么 | 规模 | 评分 |
| --- | --- | --- | --- |
| MMLU（2020） | 跨领域知识，“57 tasks including elementary mathematics, US history, computer science, law, and more”（译文：57 项任务，包括初等数学、美国历史、计算机科学、法律等） | 57 个学科 | 准确率 |
| SWE-bench（2023） | 通过 “editing the codebase to address the issue”（译文：修改代码库来解决问题）修复真实的 GitHub issue | 来自 12 个 Python 仓库的 2,294 个问题 | 解决的 issue 比例 |

语音也有自己的基准：排行榜按[词错误率](https://broadrouter.com/zh/glossary/word-error-rate/)给转写模型排名，越低越好。

基准测试会过时。MMLU 发布时，最大的 GPT-3 模型 “over random chance by almost 20 percentage points on average”（译文：平均比随机猜测高出近 20 个百分点）。SWE-bench 发布时，最好的模型 Claude 2 只解决了 1.96% 的 issue。一个曾经能很好地区分模型的基准，随着模型进步可能不再有区分度，所以要看清基准是什么时候做的、如今的典型分数是多少。

## 为什么重要

-   **数据污染。** Xu 等人的综述把基准数据污染描述为模型 “inadvertently incorporate evaluation benchmark information from their training data”（译文：在训练数据中无意间纳入了评测基准的信息），导致 “inaccurate or unreliable performance during the evaluation phase”（译文：评测阶段的表现不准确或不可靠）。
-   **覆盖面窄。** 一个 Python 编程基准几乎说明不了阿拉伯语客服的表现。请挑选与你的任务匹配的基准（[哪个排行榜测什么](https://broadrouter.com/zh/blog/artificial-analysis-alternatives/)），再用你自己数据上的[评测](https://broadrouter.com/zh/glossary/eval/)来确认。
-   **设置会改变分数。** 提示词格式、few-shot 示例、思考（reasoning）预算和部署配置都会影响结果。只有在相同方式下跑出的分数才能比较。
-   **评审会带来自己的偏差。** 开放式基准常用 [LLM-as-a-judge](https://broadrouter.com/zh/glossary/llm-as-judge/)；请查看用的是哪个评审模型和评分标准。

[更换大模型前先做评测](https://broadrouter.com/zh/blog/evaluate-llm-before-switching/)一文介绍了如何用你自己的流量构建一个小测试集。

## 在 BroadNet Inference 上

BroadNet 发布了一些自己的基准数据；请把它们视为 BroadNet 自行报告的结果。对于 [BroadNet Transcribe Arabic](https://broadrouter.com/zh/models/cohere-transcribe-arabic/)（基于 Cohere Transcribe），BroadNet 报告的词错误率在 MASC 方言语音上为 21.1，在 FLEURS 阿拉伯语上为 3.8，并报告其在 Open Universal Arabic ASR Leaderboard 上排名 第 2 名（共 37 个）（这是 2026年9月的数据；2026年11月15日实时榜单上为 39 个中的第 4 名）。对于 [Gemma 4 VL 26B](https://broadrouter.com/zh/models/gemma-4-vl-26b/)，BroadNet 报告了一次基于 240 段生产对话的三评审盲评，在 BroadNet 自家聊天机器人流水线的 6 个步骤中，它有 5 个与 Claude Sonnet 持平。这只是一家公司的流水线，不是通用基准。投入使用前请先跑你自己的评测；$5 初始额度覆盖 Gemma 4 VL 26B 和两个转写模型。

## 常见问题

### 基准测试和评测（eval）有什么区别？

基准测试是共享的公开测试，让众多团队可以比较模型。评测是你自己的测试集，用真实提示词构建，按你的产品需要来打分。用基准测试缩小候选范围，用评测做最终决定。

### 什么是基准数据污染？

指测试题或其近似副本进入了模型的训练数据。这样模型可以靠记忆而不是能力拿到高分，分数就会高估它的真实能力。

### 厂商自己报告的跑分可信吗？

把它们当作声明来看。检查用的是哪个版本的基准、什么设置和提示词，有没有人复现过结果，以及公开排行榜是否显示同样的结论。

## 另请参阅

-   [评测（eval，LLM evaluation）](https://broadrouter.com/zh/glossary/eval/)（术语）
-   [LLM-as-a-judge（大模型评审）](https://broadrouter.com/zh/glossary/llm-as-judge/)（术语）
-   [词错误率（WER，word error rate）](https://broadrouter.com/zh/glossary/word-error-rate/)（术语）
-   [AI 幻觉（hallucination）](https://broadrouter.com/zh/glossary/hallucination/)（术语）
-   [开放权重模型（open-weight model）](https://broadrouter.com/zh/glossary/open-weight-model/)（术语）
-   [切换服务商之前，如何评估大模型](https://broadrouter.com/zh/blog/evaluate-llm-before-switching/)（文章）
-   [Artificial Analysis 替代品：2026 年在哪里比较大模型](https://broadrouter.com/zh/blog/artificial-analysis-alternatives/)（文章）
-   [如何选择阿拉伯语大模型 API：该测试什么](https://broadrouter.com/zh/blog/choosing-an-llm-for-arabic/)（文章）
-   [阿拉伯语语音转文字 API：2026 年怎么选](https://broadrouter.com/zh/blog/arabic-speech-to-text-api-buyers-guide/)（文章）

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-llm-benchmark&utm_content=page-cta) ·

**来源**

-   [Hendrycks 等：Measuring Massive Multitask Language Understanding（MMLU），arXiv 2009.03300（2026-11-15 查阅）](https://arxiv.org/abs/2009.03300)
-   [Jimenez 等：SWE-bench: Can Language Models Resolve Real-World GitHub Issues?，arXiv 2310.06770（2026-11-15 查阅）](https://arxiv.org/abs/2310.06770)
-   [Xu 等：Benchmark Data Contamination of Large Language Models: A Survey，arXiv 2406.04244（2026-11-15 查阅）](https://arxiv.org/abs/2406.04244)
-   [BroadNet：BroadNet Transcribe Arabic 模型页，报告的 WER 与排行榜名次（2026-11-16 查阅）（英文）](https://www.broadnet.ai/inference/models/cohere-transcribe-arabic)
