每个基于大模型构建产品的团队都会做这个选择,而且常常是不知不觉中做的:只能通过一家厂商的 API 访问的闭源模型,还是任何人都可以下载和运行其权重的开放权重模型。这个选择会影响你的账单、数据路径、产品的稳定性,以及将来离开有多难。
开放权重到底是什么意思?
开放权重模型公开了训练好的参数。你,或者任何服务商,都可以运行它。这比开源的范围要窄:训练数据和完整的训练流程通常不会公开。
许可证各不相同。有些很宽松:例如 OpenAI 的 Whisper 以 MIT 许可证发布代码和权重。另一些则限制商业用途、用户数量或使用领域。在基于某个模型构建产品之前,先读它的许可证。
闭源模型的权重留在厂商手里。你只能通过它的 API,或厂商授权的云平台租用访问权。
开放权重与闭源模型对比
| 因素 | 开放权重 | 闭源 |
|---|---|---|
| 顶端质量 | 落后前沿几个月 | 通常在最难的任务上领先 |
| 每 token 价格 | 往往更低;多家托管方在同一模型上竞争 | 由一家厂商决定 |
| 在哪里运行 | 你的服务器、租用的 GPU 或任意托管方 | 厂商的 API 或授权的云平台 |
| 隐私选项 | 自行部署,或选择零数据保留的托管方 | 厂商的条款和服务等级 |
| 版本稳定性 | 想锁定确切的权重多久都行 | 厂商按自己的时间表下线版本 |
| 定制 | 自己微调或量化 | 只能用厂商提供的 |
| 锁定 | 低:多家托管方部署同样的权重 | 高:每个模型只有一家厂商 |
| 运维 | 自行部署时由你负责 | 由厂商负责 |
质量差距有多大?
比过去小,但确实存在。斯坦福的 2025 AI Index 报告,在 Chatbot Arena 排行榜上,顶尖闭源模型对顶尖开放权重模型的领先幅度,从 2024 年 1 月初的 8.04% 缩小到 2025 年 2 月的 1.70%。Epoch AI 在 2026 年 5 月 29 日估计,“the most capable open-weight models have lagged frontier closed models by an average of four months”(译文:最强的开放权重模型平均落后前沿闭源模型四个月),这是按其 Epoch Capabilities Index 衡量的。
在实践中:
- 分类、信息提取、摘要、翻译、日常对话: 开放权重模型通常够用,而且更便宜。
- 编程智能体和长文档: 有很强的开放权重选择;请在你自己的代码库上测试。见编程智能体最好的开放模型。
- 最难的推理和最新的能力: 闭源模型往往先做到。
排行榜是平均值。你自己的 50 个真实测试用例,才是真正要紧的基准。
运行开放权重模型有哪三种方式?
| 方式 | 最适合 | 需要注意 |
|---|---|---|
| 在自己的 GPU 上自行部署 | 数据不能离开你的网络;GPU 一直满负荷 | 硬件、驱动、扩容、安全、升级 |
| 租用专用 GPU | 负载稳定、使用自定义权重 | 闲置的时间也要付费 |
| 托管的开放权重 API | 流量波动或在增长;快速上手 | 你要信任托管方的数据保留和可用性 |
自行部署按 token 看似免费,但一张 GPU 每小时服务一个请求还是一千个请求,花费都一样。只有在高且稳定的利用率下才划算。低于这个水平,按 token 计费的 API 或固定费用套餐通常更便宜。
开放权重模型每月要花多少钱?
托管开放权重模型的按 token 价格很容易计算。通过 BroadNet 使用 DeepSeek V4.1 Flash,每月 1 亿输入 token 和 1,000 万输出 token:
每月 100 x $0.175 + 10 x $0.52,未计入缓存折扣。
用你的闭源厂商公布的每百万 token 价格和你真实的 token 数做同样的计算,或者从我们的开放权重与闭源模型 API 成本对比开始,那篇文章在 GPT、Claude、Gemini、Grok 和五个开放模型上为同一个工作负载估价。缓存输入对结果影响很大:这个模型的缓存 token 每百万 $0.0055。大模型 API 成本计算器可以为每个 BroadNet 模型做这个计算,大模型 API 价格表列出了其他托管方对同样的开放权重的收费。
为什么锁定比看上去更要紧?
当闭源厂商涨价、修改数据条款,或者下线你的提示词所针对调优的模型时,你的选择只有接受或者重写。使用开放权重模型,你可以把同样的权重迁到另一家托管方或自己内部,并保持相同的行为。
要让这个选项真正可用:
- 通过 OpenAI 兼容 SDK 调用模型,把 base URL 和模型 ID 放在配置里。
- 保留一个回归测试集,每次更换服务商时都运行它。
- 也可以在前面放一个 LiteLLM 之类的路由器,这样切换只是改一下配置。
企业怎样组合使用开放和闭源模型?
大多数企业最后两者都会用:
- 把高流量、定义明确的任务(信息提取、分诊、摘要、智能体的常规步骤)路由到开放权重模型。
- 把少见的难题路由到闭源前沿模型。
- 每个季度重新测试。考虑到 Epoch 测得的差距,任务会随着时间从第二类移到第一类。
BroadNet Inference 的定位
BroadNet Inference 是一个托管的开放权重 API:DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B 和 BroadNet 构建的 Google Gemma 4,外加两个语音转文字模型,全部通过 OpenAI 兼容端点提供。其隐私声明称,它不保留任何提示词或输出,也不使用推理数据训练、微调或评估模型。DeepSeek V4.1 Flash 还提供固定费用套餐,每个会话从每小时 $1 到每月 $60。
它不提供闭源模型。如果某项任务需要 GPT、Claude 或 Gemini,就让那条路由使用这些厂商,其余的留在开放权重上。要把 BroadNet 与其他服务商比较,请使用 20 项服务商检查清单。
