BroadRouter
开始使用

大模型基准测试(LLM benchmark)

更新于

大模型基准测试是一组固定、通常公开的任务和评分方法,用来在某一项能力上衡量和比较语言模型,比如知识问答、编程或语音识别。基准分数反映的是模型在该测试上的相对能力,而不是它在你自己的业务负载上的表现。

又称: 大模型基准测试、大模型评测基准、大模型跑分、基准分数、评测榜单、模型基准、LLM benchmark、model benchmark、benchmark score

模型发布时总会附上一张基准分数表。了解基准测试能衡量什么、不能衡量什么,才不会因为看错数字而选错模型。

原理

基准测试固定三件事:任务、给模型提示的方式,以及评分规则。两个知名例子:

基准 测什么 规模 评分
MMLU(2020) 跨领域知识,“57 tasks including elementary mathematics, US history, computer science, law, and more”(译文:57 项任务,包括初等数学、美国历史、计算机科学、法律等) 57 个学科 准确率
SWE-bench(2023) 通过 “editing the codebase to address the issue”(译文:修改代码库来解决问题)修复真实的 GitHub issue 来自 12 个 Python 仓库的 2,294 个问题 解决的 issue 比例

语音也有自己的基准:排行榜按词错误率给转写模型排名,越低越好。

基准测试会过时。MMLU 发布时,最大的 GPT-3 模型 “over random chance by almost 20 percentage points on average”(译文:平均比随机猜测高出近 20 个百分点)。SWE-bench 发布时,最好的模型 Claude 2 只解决了 1.96% 的 issue。一个曾经能很好地区分模型的基准,随着模型进步可能不再有区分度,所以要看清基准是什么时候做的、如今的典型分数是多少。

为什么重要

  • 数据污染。 Xu 等人的综述把基准数据污染描述为模型 “inadvertently incorporate evaluation benchmark information from their training data”(译文:在训练数据中无意间纳入了评测基准的信息),导致 “inaccurate or unreliable performance during the evaluation phase”(译文:评测阶段的表现不准确或不可靠)。
  • 覆盖面窄。 一个 Python 编程基准几乎说明不了阿拉伯语客服的表现。请挑选与你的任务匹配的基准(哪个排行榜测什么),再用你自己数据上的评测来确认。
  • 设置会改变分数。 提示词格式、few-shot 示例、思考(reasoning)预算和部署配置都会影响结果。只有在相同方式下跑出的分数才能比较。
  • 评审会带来自己的偏差。 开放式基准常用 LLM-as-a-judge;请查看用的是哪个评审模型和评分标准。

更换大模型前先做评测一文介绍了如何用你自己的流量构建一个小测试集。

在 BroadNet Inference 上

BroadNet 发布了一些自己的基准数据;请把它们视为 BroadNet 自行报告的结果。对于 BroadNet Transcribe Arabic(基于 Cohere Transcribe),BroadNet 报告的词错误率在 MASC 方言语音上为 21.1,在 FLEURS 阿拉伯语上为 3.8,并报告其在 Open Universal Arabic ASR Leaderboard 上排名 第 2 名(共 37 个) (这是 2026年9月的数据;2026年11月15日实时榜单上为 39 个中的第 4 名)。对于 Gemma 4 VL 26B,BroadNet 报告了一次基于 240 段生产对话的三评审盲评,在 BroadNet 自家聊天机器人流水线的 6 个步骤中,它有 5 个与 Claude Sonnet 持平。这只是一家公司的流水线,不是通用基准。投入使用前请先跑你自己的评测;$5 初始额度覆盖 Gemma 4 VL 26B 和两个转写模型。

常见问题

基准测试和评测(eval)有什么区别?

基准测试是共享的公开测试,让众多团队可以比较模型。评测是你自己的测试集,用真实提示词构建,按你的产品需要来打分。用基准测试缩小候选范围,用评测做最终决定。

什么是基准数据污染?

指测试题或其近似副本进入了模型的训练数据。这样模型可以靠记忆而不是能力拿到高分,分数就会高估它的真实能力。

厂商自己报告的跑分可信吗?

把它们当作声明来看。检查用的是哪个版本的基准、什么设置和提示词,有没有人复现过结果,以及公开排行榜是否显示同样的结论。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity