BroadRouter
开始使用

工具调用(tool calling / function calling)

更新于

工具调用(也叫函数调用,function calling)是大模型 API 的一项功能:模型返回一个结构化请求,要求执行开发者定义的某个函数,并附上 JSON 参数。应用执行该函数并把结果发回;模型自己从不执行代码。

又称: 函数调用、Function Calling、工具使用、工具调用能力、tool calling、function calling、tool use、tools、tool_calls

工具调用是语言模型对外部世界采取行动的方式:它请你的代码去查点东西、跑个查询或改个文件,然后利用结果。

工作原理

OpenAI 的指南描述了应用与模型之间的一个循环:

  1. 发送工具。 请求中列出函数,每个函数有名称、描述和描述参数的 JSON Schema。
  2. 收到工具调用。 如果模型需要工具,它返回的是函数名和 JSON 参数,而不是最终回答。
  3. 执行。 你的代码执行这个函数。OpenAI 的指南把这一步放在 “the application side”(译文:应用一侧);模型自己从不执行代码。
  4. 返回结果,并附上对应的调用 ID。
  5. 拿到回答,或者又一次工具调用。按需重复。

在 Chat Completions 格式中,工具定义是这样的:

{
  "type": "function",
  "function": {
    "name": "get_order_status",
    "description": "Look up an order by ID",
    "parameters": {
      "type": "object",
      "properties": { "order_id": { "type": "string" } },
      "required": ["order_id"]
    }
  }
}

(示例函数的描述意思是:按 ID 查询订单。)

回复中会带有 finish_reason: "tool_calls" 和一个 tool_calls 列表。每个条目都有一个 id、函数名,以及 JSON 字符串形式的 arguments。你追加一条 role: "tool" 的消息,带上相同的 tool_call_id 和结果,然后再次调用 API。

为什么重要

  • 智能体。 编程智能体、客服机器人和数据助手,大多就是一轮轮的工具调用循环。
  • 费用。 每一轮往返都是一个新请求,会把对话、工具定义和工具结果作为输入 token 重新发送。工具循环越长,缓存输入和稳定的工具顺序就越重要。
  • 安全。 参数来自模型。在执行任何会修改数据或花钱的操作之前,先校验参数。

如果回复只需要符合某个 schema、并不需要调用函数,结构化输出是更简单的工具。

在 BroadNet Inference 上

BroadNet 的文档为 GLM 5.3 和 Qwen3.8 27B 列出了工具调用,两者也都支持结构化输出和思考。文档没有说明 DeepSeek V4.1 Flash 或 BroadNet Gemma 4 VL 26B 是否支持工具。请在你打算上线的模型上测试自己的工具循环。

这两个列出的模型都会先思考再回答,而思考内容计入 max_tokens,所以要留出空间,否则工具调用可能被截断。参见思考 token。对于自带工具格式的智能体工具,请看 Cline 指南和 Vercel AI SDK 指南。

常见错误

  • 把 arguments 当成对象来解析。它是一个 JSON 字符串;要先解码并处理错误。
  • 忘了 tool_call_id。没有它,模型无法把结果和调用对应起来。

常见问题

模型会执行我的函数吗?

不会。模型只返回函数名和参数。由你的代码决定是否执行、负责执行,并通过 tool 消息把结果发回。

模型能一次调用多个工具吗?

许多 API 支持并行工具调用,在一个响应的 tool_calls 中返回多个条目。你的代码逐个执行,并为每个 tool_call_id 返回一个结果。

BroadNet 的哪些模型支持工具调用?

BroadNet 的文档为 GLM 5.3 和 Qwen3.8 27B 列出了工具功能,没有说明 DeepSeek V4.1 Flash 或 BroadNet Gemma 4 VL 26B 是否支持,所以在这两个模型上依赖它之前请先测试。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity