BroadRouter
开始使用

并行工具调用(parallel tool calls)

更新于

并行工具调用是指模型在一次响应中返回多个工具调用,例如同时读取三个文件。在 OpenAI 格式中,它们表现为 tool_calls 里的多个条目;把 parallel_tool_calls 设为 false,可把模型限制为每轮调用零个或一个工具。

又称: 并行工具调用、并行函数调用、并行 function calling、多工具调用、多个工具调用、parallel_tool_calls、parallel tool calls、parallel tool calling、parallel function calling、multiple tool calls

一个需要三个文件的智能体,不必一次往返只要一个。有了并行工具调用,模型可以一次把三个都要过来。

工作原理

在工具调用响应中,message.tool_calls 是一个列表。并行调用时,它有多个条目,每个条目都有自己的 id、函数名和 JSON 参数。

"tool_calls": [
  {"id": "call_1", "type": "function", "function": {"name": "read_file", "arguments": "{\"path\": \"a.py\"}"}},
  {"id": "call_2", "type": "function", "function": {"name": "read_file", "arguments": "{\"path\": \"b.py\"}"}}
]

你的代码执行这些调用,为每个调用追加一条 tool 消息,各自带上对应的 tool_call_id,然后再次调用模型。

  • OpenAI: parallel_tool_calls 默认为 true。设为 false 会 “ensures exactly zero or one tool is called.”(译文:确保恰好调用零个或一个工具。)指南提醒,某个模型快照有时会重复调用同一个工具,建议在该快照上关闭此功能。
  • Anthropic: 并行使用默认开启。在 tool_choice 对象中设置 disable_parallel_tool_use: true 即可关闭。Anthropic 说该 API “doesn’t prescribe an execution order”(译文:不规定执行顺序),并且所有工具结果应放在同一条 user 消息中返回,才能保持并行效果。

为什么重要

  • 延迟。 与模型的往返次数更少。相互独立的只读工具,可以在你这一侧同时运行。
  • 顺序。 有副作用的调用(比如先写后读)可能相互依赖。Anthropic 建议按顺序执行这类调用,或者干脆关闭此功能。
  • 对账。 每个调用都需要一个 ID 对应正确的结果。缺少某个结果,是下一次请求失败的常见原因。

在 BroadNet Inference 上

BroadNet 的 API 参考记录了 GLM 5.3 和 Qwen3.8 27B 的工具调用,但没有记录 parallel_tool_calls。请测试你的提示词能否拿回多个调用,以及 false 是否生效。并行调用在一次响应中返回,所以不会增加你的请求数。工具由你这一侧执行。注意,BroadNet 不限量套餐的会话一次只允许一个请求,且仅适用于 DeepSeek V4.1 Flash;在按量付费密钥上,并发上限是同时 4 个请求。开放模型的工具调用一文给出了一个可运行的循环。

常见错误

  • 每个调用用不同的消息格式返回结果,或者漏掉其中一个。
  • 因为模型把几个相互依赖的工具列在一起,就把它们并发执行。

常见问题

并行工具调用等于并行 API 请求吗?

不是。模型在一次响应中返回多个调用。由你的代码执行它们,可以并发也可以逐个执行,然后在下一次请求中把所有结果一起发回去。

怎样关闭并行工具调用?

在 OpenAI 格式中,把 parallel_tool_calls 设为 false;OpenAI 说这样会 "ensures exactly zero or one tool is called"(确保恰好调用零个或一个工具)。在 Anthropic 的 API 中,在 tool_choice 里把 disable_parallel_tool_use 设为 true。

BroadNet Inference 支持 parallel_tool_calls 吗?

BroadNet 的 API 参考没有记录 parallel_tool_calls。文档记录了 GLM 5.3 和 Qwen3.8 27B 的工具调用;请自行测试它们是否会返回多个调用,以及这个参数是否生效。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity