开放权重模型发布之后,总得有人来运行它。推理服务商就是做这件事的公司。
原理
服务商把模型权重加载到 GPU 上,运行负责批处理请求和管理显存的推理服务软件,再在前面加一层 API。大多数服务商提供 OpenAI 兼容 API,所以切换服务商只需改 base URL、密钥和模型 ID。
这个说法涵盖几种商业形态:
- 模型厂商,部署自家的模型。
- 独立托管方,部署来自多家厂商的开放权重模型。
- 云厂商,出租 GPU 或托管端点,有时按 GPU 小时计费。
- 聚合平台。 Hugging Face 的 Inference Providers 通过一个 token 提供 “hundreds of machine learning models, powered by world-class inference providers”(译文:数百个机器学习模型,由世界一流的推理服务商提供支持)。大模型路由器也是同样的思路。
由于 API 格式相同,同一份代码可以在任何一家上运行,只需改三个值:
import os
from openai import OpenAI
msgs = [{"role": "user", "content": "Hello"}]
client = OpenAI(
base_url="https://inference.broadnet.ai/v1", # the provider
api_key=os.environ["BROADNET_API_KEY"], # its key
)
client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=msgs) # its model ID
计价方式也各不相同:按 token、按音频分钟、按小时,或按会话固定价格。
为什么重要
选择服务商,主要是在选择那些从模型名称上看不出来的取舍:
- 数据处理。 保留、日志和训练用途各不相同。请寻找书面的零数据保留政策。
- 运行地点。 地区和子处理方关系到合规。
- 限制。 并发、速率限制和上下文长度可能低于模型本身的上限。
- 部署选择。 精度和推理服务设置会影响速度,有时也会影响输出。
- 计价方式。 哪种方式合适取决于你的流量;参见推理服务商价格对比。
- 价格水平。 同一个开源模型,在一家服务商那里的价格可能是另一家的好几倍。参见同一模型,不同托管方。
在 BroadNet Inference 上
BroadNet Inference 是一家推理服务商。其隐私声明称,它自己的模型和它托管的开放权重模型 “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup”(译文:运行在 BroadNet 自有或租用的美国境内硬件上,以合作伙伴的算力作为备份),由合作伙伴提供的模型则在与美国推理合作伙伴约定的零数据保留条款下运行。请求和响应内容不会被保留。
它通过位于 https://inference.broadnet.ai/v1 的 OpenAI 兼容 API 提供对话模型,包括 DeepSeek V4.1 Flash 和 GLM 5.3,以及两个语音转文字模型。计费方式有按 token 或按音频分钟的按量付费、按小时密钥,以及 DeepSeek V4.1 Flash 的固定价格套餐。用服务商选择清单,按你自己的标准把它和其他服务商比一比。