BroadRouter
Loslegen

tool_choice

Aktualisiert

tool_choice ist ein Anfrageparameter, der die Tool-Nutzung steuert. In den Chat Completions von OpenAI kann er auto (das Modell entscheidet), required (es muss ein oder mehrere Tools aufrufen), none (keine Tools) oder eine benannte, erzwungene Funktion sein. Die entsprechenden Optionen bei Anthropic sind auto, any, tool und none.

Auch genannt: tool_choice, Tool Choice, Tool-Auswahl, erzwungener Tool-Aufruf, erzwungener Funktionsaufruf, tool choice, forced tool call, forced function call

Mit Tool Calling kann ein Modell Ihren Code bitten, eine Funktion auszuführen. tool_choice entscheidet, ob das optional, verpflichtend oder abgeschaltet ist.

So funktioniert es

Sie senden tools (Funktionsnamen, Beschreibungen und Parameter als JSON Schema) und optional tool_choice.

Wert bei OpenAI Bedeutung Entsprechung bei Anthropic
"auto" Das Modell wählt eine Nachricht oder einen oder mehrere Aufrufe; Standard, wenn Tools gesendet werden {"type": "auto"}
"required" „The model must call one or more tools“ (Übersetzung: „Das Modell muss ein oder mehrere Tools aufrufen“) {"type": "any"}
{"type": "function", "function": {"name": "get_weather"}} Erzwingt genau dieses Tool {"type": "tool", "name": "get_weather"}
"none" Keine Tool-Aufrufe; Standard ohne Tools {"type": "none"}

Der Function-Calling-Leitfaden von OpenAI beschreibt außerdem eine Allowed-Tools-Option, die Aufrufe auf eine Teilmenge beschränkt, während die vollständige Tool-Liste unverändert bleibt, und empfiehlt sie für Prompt Caching.

{"model": "broadnet/glm-5.3",
 "messages": [{"role": "user", "content": "Weather in Riyadh?"}],
 "tools": [{"type": "function", "function": {"name": "get_weather",
   "parameters": {"type": "object", "properties": {"city": {"type": "string"}},
                  "required": ["city"]}}}],
 "tool_choice": {"type": "function", "function": {"name": "get_weather"}}}

Die Dokumentation von Anthropic weist darauf hin, dass die API bei any oder tool die Antwort vorbefüllt, sodass das Modell vor dem Aufruf keinen Text schreibt, und dass einige Claude-Modelle erzwungene Tool-Nutzung ablehnen und einen 400-Fehler zurückgeben.

Warum es wichtig ist

  • Zuverlässige Pipelines. Ein Extraktionsschritt, der mit einem Aufruf enden muss, sollte keine gesprächige Textantwort bekommen. Den Aufruf zu erzwingen beseitigt diesen Zweig.
  • Sichere Turns. Mit none für einen abschließenden Zusammenfassungs-Turn verhindern Sie, dass das Modell eine weitere Tool-Runde beginnt, und behalten dieselbe Tool-Liste.
  • Caching. Laut Anthropic macht eine Änderung von tool_choice gecachte Nachrichtenblöcke ungültig, halten Sie den Wert also über Turns hinweg möglichst stabil.

Bei BroadNet Inference

Die API-Referenz von BroadNet dokumentiert Tool Calling nur für GLM 5.3 und Qwen3.8 27B und dokumentiert tool_choice nicht. Testen Sie jeden Wert, den Sie nutzen wollen: Senden Sie required oder eine benannte Funktion und prüfen Sie, ob die Antwort tool_calls enthält. Wenn das Erzwingen nicht wie erwartet funktioniert, nutzen Sie auto mit einer klaren Anweisung und validieren das Ergebnis, oder verwenden Sie Structured Output mit denselben Modellen. Der Beitrag zu Tool Calling mit offenen Modellen enthält eine Schleife aus Validierung und Retry.

Häufige Fehler

  • In jedem Turn einer Agenten-Schleife ein Tool erzwingen, sodass sie nie eine abschließende Antwort geben kann.
  • Annehmen, dass required ein bestimmtes Tool meint. Es meint irgendein Tool.

Häufige Fragen

Was ist der Standardwert von tool_choice?

In der API von OpenAI none, wenn keine Tools gesendet werden, und auto, wenn Tools vorhanden sind. Anthropic verwendet dieselben Standardwerte.

Wann sollte ich einen Tool-Aufruf erzwingen?

Wenn die einzig akzeptable Antwort ein Aufruf ist, etwa bei einem Klassifikator, der submit_label aufrufen muss. Für eine feste JSON-Antwort ist Structured Output oft einfacher.

Unterstützt BroadNet Inference tool_choice?

BroadNet dokumentiert Tool Calling für GLM 5.3 und Qwen3.8 27B, aber die API-Referenz dokumentiert tool_choice nicht. Testen Sie jeden Wert, bevor Sie sich darauf verlassen.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen