BroadRouter

Artificial Analysis 替代品:2026 年在哪里比较大模型

BroadNet Inference 团队 · 阅读约 7 分钟 · 发布于

Artificial Analysis 是按 API 服务商衡量大模型速度、延迟和智能得分的主要独立来源。每个替代品衡量的东西都不同:Arena 排的是人类偏好,Epoch AI 和 Vals AI 公布基准测试结果,OpenRouter 按用量排名,而 BroadRouter(BroadNet 的网站)这类价格数据库只列价格。建议两个并用,再用自己的数据测试。

比较大模型 API 时,Artificial Analysis 往往是第一站,因为它会对每家服务商的真实请求计时。但它只是一个视角。其他网站按人类投票、基准分数、用量或价格排名,各自回答不同的问题。本文说明每个网站衡量什么、怎么衡量、能拿到哪些数据,以及什么时候该用它。下面的每条事实都是我们在 2026 年 11 月 15 日从各网站自己的页面上读到的。

先做一个说明:BroadRouter 是 BroadNet 自己的网站。它把开发者引向 BroadNet Inference,并公布价格数据。它不对模型做评测,出现在这份列表中只是因为价格。

Artificial Analysis 擅长什么?

Artificial Analysis 自称 “Independent analysis of AI”(译文:独立的 AI 分析)。它的方法说明页面解释了三件很少有人做的事:

  • **按服务商端点测速度。**输出速度是 “output tokens per second over each request’s full duration”(译文:每个请求全程的每秒输出 token 数),包括思考 token,并取 “over the workloads we measured in the past 5 days”(译文:过去 5 天内我们测量的工作负载)的平均值。因为同一个模型 “may have multiple endpoints across different providers”(译文:可能在不同服务商有多个端点),你能看到同一个模型在一家托管商上比另一家跑得更快。
  • **可比较的延迟。**它报告首 token 时间、首个回答 token 时间(包含思考过程,因此思考模型和非思考模型可以公平比较)以及端到端时间。
  • **自己的评测。**Intelligence Index v5.0.1 把九项评测分成四个等权重的组(知识工作、编程、科学、通用)。其中几项是它自己的基准,或是它自己运行的他人任务,并注明了重复次数。

它的服务商排行榜覆盖 “over 500 AI Model endpoints”(译文:500 多个 AI 模型端点),列出每个任务的成本、每个任务的耗时、首个回答 token 延迟、错误率、上下文窗口和许可证。价格是 “the current prices listed by providers”(译文:服务商当前列出的价格),它的混合价格按缓存命中、输入和输出 token 7:2:1 的比例计算。如果你的工作负载以输出为主,请在心里调整这个比例。

如果你需要按服务商实测的速度和错误率,它很难被替代。人们寻找替代品,通常是想要不同的信号:人类偏好、特定领域、可下载的原始数据,或者每一行都有来源的价格表。

Artificial Analysis 有哪些替代品?

网站 衡量什么 方法 可获取的数据 最适合
Artificial Analysis 智能指数、输出速度、延迟、错误率、各端点价格 自己运行评测并对请求计时;速度按 5 天滚动窗口 免费 API,须注明出处 按服务商比较速度和延迟
Arena(原 LMArena) 人类偏好 两个匿名模型作答,由人投票,投票后才公布名称 Hugging Face 上的开放偏好数据集 人们对回答的感受
Epoch AI Benchmarking Hub 随时间变化的基准分数 部分基准用 Inspect 自己运行;其余从官方排行榜收集 CSV 和 Python 客户端;自有数据为 CC BY 趋势和原始分数
Vals AI 领域准确率、成本和延迟 42 项基准,部分为私有或保留测试集 基准测试页面未说明 法律、金融、税务等领域
OpenRouter 排行 用量 通过 OpenRouter 处理的 token,按 UTC 天汇总 带价格的公开模型 API 开发者实际在用什么
Open LLM Leaderboard(Hugging Face) 开放权重模型分数 Eleuther AI 评测框架中的六项基准 结果和请求数据集 比较开放模型文件
BroadRouter 价格数据(BroadNet 的网站) 仅公布价格 从每家服务商自己的价格页读取,附 URL、日期和原文引用 CSV 和 JSON,汇编整体为 CC BY 4.0 在源头核对价格

Arena 有什么不同?

Arena(lmarena.ai 现在会跳转到 arena.ai)请真实用户比较两个匿名回答并选出一个。模型名称只在投票后显示。它衡量的是偏好,混合了准确性、语气、长度和格式。它的排行榜分为多个榜单,包括 Text、WebDev、Vision、Document 和 Search,Pareto 视图还会显示每个任务的成本。Arena 表示已在 Hugging Face 上开源其偏好数据,如果你想研究投票本身而不只是看排名,这很有用。

可以用它看一个对话回答在人们眼中的效果。不要用它为 API 选服务商:它给模型排名,而不是给托管商排名,也不涉及某个端点上的速度。

什么时候 Epoch AI 和 Vals AI 更合适?

Epoch AI 维护一个基准测试结果数据库,我们核实时它跟踪了 99 项基准和 428 个模型。部分结果由它自己用 Inspect 框架运行;其余来自基准作者维护的官方排行榜。你可以下载 CSV 数据,或使用它的 Python 客户端。它的自有数据按 CC BY 许可,注明出处即可免费复用;来自外部的结果保留其原始许可。如果你想要原始分数或趋势线,而不是单一指数,选 Epoch。

Vals AI 运行 42 项基准,覆盖法律、金融、医疗、编程、数学等领域,部分测试集为私有或保留集,降低了模型在测试题上训练过的风险。它的排行榜比较准确率、成本和延迟,它的 Inference Provider Index 则从准确率、成本和速度三方面比较服务商。它的综合指标 Vals Index 按各行业在美国 GDP 中的占比加权。如果你的任务与它覆盖的某个领域相似,选 Vals。

OpenRouter 排行到底说明了什么?

用量。每个模型按 “tokens it processed through the OpenRouter API”(译文:它通过 OpenRouter API 处理的 token)排名,提示和补全合计,时间窗口为过去一天、七天或三十天。页面明确说明,这些排行 “do not rank models by accuracy, reasoning ability, or benchmark performance”(译文:不按准确性、推理能力或基准测试表现给模型排名)。写长回答或在长智能体循环中运行的模型会在榜单上往上爬。把它当作热度信号和值得测试的模型清单来看。OpenRouter 还有一个公开的模型端点,列出每个模型的价格,但那是 OpenRouter 的收费,而不是各托管商直接收取的价格。

Hugging Face Open LLM Leaderboard 还值得用吗?

对开放权重模型文件来说,值得,但要谨慎。Hugging Face 的文档说,第一版已于 2024 年 6 月归档并被取代。当前版本在 Eleuther AI 评测框架中用 IFEval、BBH、MATH level 5、GPQA、MuSR 和 MMLU-Pro 给模型打分,并以数据集形式公布结果。它评测的是模型文件,而不是托管 API,所以无法告诉你价格、速度,或者某家服务商如何提供这个模型。

在哪里比较阿拉伯语模型?

通用排行榜很少涉及阿拉伯语,Arena 可见的筛选项里也没有语言。Hugging Face 上的两个 Space 填补了部分空白:

  • Open Arabic LLM Leaderboard,由 OALL 组织运营,面向阿拉伯语文本。
  • Open Universal Arabic ASR Leaderboard,自称 “a benchmark for open-source multi-dialect Arabic ASR models”(译文:面向开源多方言阿拉伯语 ASR 模型的基准),面向语音识别。BroadNet 报告其 Transcribe Arabic 模型的成绩为 第 2 名(共 37 个) (这是 2026年9月的数据;2026年11月15日实时榜单上为 39 个中的第 4 名)。这是 BroadNet 自己的数字,而且榜单会随着新模型加入而变化。

语音结果要按方言看,而不只看平均值。方法见阿拉伯语 ASR 词错误率详解。

BroadRouter 的价格数据处于什么位置?

BroadRouter 发布三种价格资源:按模型分的大模型 API 价格页面、包含中位数和价差的价格指数,以及原始服务商价格数据库。每一行都从服务商自己的价格页读取,并与来源 URL、日期和原文引用一起保存,每周由脚本重新抓取来源。不使用任何聚合平台的数据源。

它不做什么同样重要:

  • 它不衡量速度、延迟、可用性或质量。这些请用 Artificial Analysis、Arena、Epoch AI 或 Vals AI。
  • 它只收录第三方价格。BroadNet 自己的价格见其 pricing.json 和价格页面。
  • 它是 BroadNet 的网站,所以请把它看作一份你可以逐行核对的厂商汇编,而不是中立的评判者。

如何组合使用这些网站?

  1. **按质量列出候选。**用 Arena 看对话感受,用 Epoch AI 或 Vals AI 看你所在领域的任务分数。保留三到五个模型。
  2. **在你要用的托管商上检查速度。**Artificial Analysis 显示每个端点的速度和延迟。大模型延迟详解说明了哪个数字对你的应用最重要。
  3. **在源头核对价格。**用价格数据库找到服务商,再打开每家服务商自己的页面。留意缓存输入和输出价格,对很多工作负载来说,它们对账单的影响比输入价格更大。
  4. **用你自己的数据测试。**让每个入围模型处理 50 到 100 个真实输入并打分。基准测试只有在任务与你的任务相似时,才能预测你的结果。方法见切换大模型之前如何评估,限额、隐私和支持见 20 项服务商检查清单。

BroadNet Inference 的情况

BroadNet Inference 是一个 OpenAI 兼容 API,而不是排行榜。它提供的模型不多:DeepSeek V4.1 Flash(由合作伙伴托管)、GLM 5.3、Qwen3.8 27B、Gemma 4 VL 26B 和两个语音转文字模型。工具调用和结构化输出只在 GLM 5.3 和 Qwen3.8 27B 上有文档说明。自助账户没有 SLA,也没有批处理 API 或 embeddings。如果其中某个模型进了你的候选名单,$5 初始额度可用于 Gemma 4 VL 26B、两个 Transcribe 模型和 Gemma 按小时密钥,所以你可以在付费前用自己的输入完成第 4 步;DeepSeek、GLM 和 Qwen 需要充值。提示词和回答不会被保留。比较这些模型或创建账户。

常见问题

Artificial Analysis 最好的替代品是什么?

取决于你想比较什么。看人类偏好,用 Arena。要可下载的基准测试分数,用 Epoch AI。看法律、金融、税务等领域任务,用 Vals AI。看开发者实际在用什么,用 OpenRouter 排行。至于按服务商实测的速度,在这些网站中,Artificial Analysis 本身没有相近的替代品。

Artificial Analysis 有 API 吗?

有。它的文档(2026 年 11 月 15 日核实)介绍了一个 "focused on model benchmarks"(译文:专注于模型基准测试)的免费 API,密钥从其 Insights Platform 获取。免费 API 的一切使用都必须注明 artificialanalysis.ai 为出处。数据更多的商业 API 面向合作伙伴提供。

Hugging Face Open LLM Leaderboard 还有用吗?

据 Hugging Face 的文档,它的第一版已于 2024 年 6 月归档。第 2 版用 IFEval、GPQA 和 MMLU-Pro 等六项基准给开放权重模型打分,结果放在公开数据集中。它覆盖的是开放权重模型文件,而不是托管 API,也不涉及价格或速度。

OpenRouter 排行能说明哪个模型最好吗?

不能。排行页面说明,它统计的是通过 OpenRouter 处理的 token 量,并且 "do not rank models by accuracy, reasoning ability, or benchmark performance"(译文:不按准确性、推理能力或基准测试表现给模型排名)。它反映的是热度,而冗长的模型和长时间运行的智能体循环会推高这个数字。

BroadRouter 会对模型做评测吗?

不会。BroadRouter 是 BroadNet 自己的网站。它公布从各服务商自己页面读取的价格,附来源和日期,另有分词器测量数据。它不衡量速度、延迟或回答质量,所以不能替代 Artificial Analysis 或基准测试网站。

在哪里可以比较阿拉伯语模型?

阿拉伯语文本,看 Hugging Face 上的 Open Arabic LLM Leaderboard(OALL)。阿拉伯语语音识别,看 Open Universal Arabic ASR Leaderboard,它自称是面向开源多方言阿拉伯语 ASR 模型的基准。请按方言查看词错误率,而不只看平均值。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity