BroadRouter

输入 token 与输出 token

更新于

输入 token 是语言模型在一次请求中读取的 token,包括系统提示词、对话历史、工具定义和图片。输出 token 是模型生成回复的 token,包括思考内容。大模型 API 通常分别计价,输出一般更贵。

又称: 输入 token、输出 token、提示词 token、补全 token、输入输出 token、prompt tokens、completion tokens、input tokens、output tokens

每个大模型请求都有两面:你发出去的,和返回来的。API 都以 token 计数,而且大多按不同单价计费。

工作原理

输入是请求里的全部内容:系统提示词、之前的每一条消息、工具定义、工具结果、文档和图片。多轮对话每一轮都会重发完整历史,所以输入会随对话增长。

输出是模型生成的全部内容:可见的回答、工具调用,以及思考模型隐藏的思考 token。

usage 块会同时报告两者:

"usage": {
  "prompt_tokens": 18000,
  "completion_tokens": 900,
  "prompt_tokens_details": { "cached_tokens": 15000 },
  "completion_tokens_details": { "reasoning_tokens": 600 }
}

一次请求的费用是:

(new input × input price) + (cached input × cached price) + (output × output price),即新输入 × 输入单价 + 缓存输入 × 缓存单价 + 输出 × 输出单价,每个单价都按每百万 token 计。

为什么重要

两者的比例决定了哪个单价更关键。聊天助手回答一个简短问题,可能只输出几百个 token。编程智能体每一轮都重发庞大的代码仓库上下文,却只写出一个简短的补丁,所以输入可能是输出的 20 倍甚至更多。对智能体来说,输入单价和缓存输入单价决定了账单的大头。

输出依然值得关注。思考模型花在思考上的 token 可能比回答还多,而这些都按输出计费。在我们跟踪的模型中,输出与输入的典型价格比见 LLM API 价格指数。

在 BroadNet Inference 上

以下单价按每百万 token 计,取自公布的价格文件:

模型 输入 缓存输入 输出
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
GLM 5.3 $0.78 $0.173 $3.46
Qwen3.8 27B $0.175 $0.0435 $2.17
BroadNet Gemma 4 VL 26B $0.10 — $0.22

在 BroadNet 的计算示例中,一个全天候运行的编程智能体每月发送 1,000 百万(10 亿)个输入 token,缓存命中率 80%,返回 50 百万(5,000 万)个输出 token。在 DeepSeek V4.1 Flash 上按 token 计费,费用为 $65.40。固定价格套餐则取消了计量:Full Moon 每个会话每月 $60。可以在价格计算器里比较你自己的数字,或阅读固定价格与按 token 计费对比。

常见错误

  • 只计算可见回答的费用,忘了思考 token。
  • 忽视历史记录增长的速度。聊天到第 30 轮时,输入里可能带着 30 轮的内容。

常见问题

prompt tokens 和输入 token 有什么区别?

没有区别。Chat Completions 格式把它们叫作 prompt_tokens 和 completion_tokens。较新的 API,例如 OpenAI 的 Responses API 和 Anthropic 的 Messages API,则叫作 input_tokens 和 output_tokens。

为什么输出比输入贵?

模型读取整个提示词时可以一次并行处理,但生成输出只能一个 token 一个 token 地来,所以每个输出 token 占用的 GPU 时间更多。

工具定义也要计费吗?

要。工具 schema 和工具结果都是提示词的一部分,所以在每个包含它们的请求里都算作输入 token。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity