Mit Tool Calling kann ein Modell Ihren Code bitten, eine Funktion auszuführen. tool_choice entscheidet, ob das optional, verpflichtend oder abgeschaltet ist.
So funktioniert es
Sie senden tools (Funktionsnamen, Beschreibungen und Parameter als JSON Schema) und optional tool_choice.
| Wert bei OpenAI | Bedeutung | Entsprechung bei Anthropic |
|---|---|---|
"auto" |
Das Modell wählt eine Nachricht oder einen oder mehrere Aufrufe; Standard, wenn Tools gesendet werden | {"type": "auto"} |
"required" |
„The model must call one or more tools“ (Übersetzung: „Das Modell muss ein oder mehrere Tools aufrufen“) | {"type": "any"} |
{"type": "function", "function": {"name": "get_weather"}} |
Erzwingt genau dieses Tool | {"type": "tool", "name": "get_weather"} |
"none" |
Keine Tool-Aufrufe; Standard ohne Tools | {"type": "none"} |
Der Function-Calling-Leitfaden von OpenAI beschreibt außerdem eine Allowed-Tools-Option, die Aufrufe auf eine Teilmenge beschränkt, während die vollständige Tool-Liste unverändert bleibt, und empfiehlt sie für Prompt Caching.
{"model": "broadnet/glm-5.3",
"messages": [{"role": "user", "content": "Weather in Riyadh?"}],
"tools": [{"type": "function", "function": {"name": "get_weather",
"parameters": {"type": "object", "properties": {"city": {"type": "string"}},
"required": ["city"]}}}],
"tool_choice": {"type": "function", "function": {"name": "get_weather"}}}
Die Dokumentation von Anthropic weist darauf hin, dass die API bei any oder tool die Antwort vorbefüllt, sodass das Modell vor dem Aufruf keinen Text schreibt, und dass einige Claude-Modelle erzwungene Tool-Nutzung ablehnen und einen 400-Fehler zurückgeben.
Warum es wichtig ist
- Zuverlässige Pipelines. Ein Extraktionsschritt, der mit einem Aufruf enden muss, sollte keine gesprächige Textantwort bekommen. Den Aufruf zu erzwingen beseitigt diesen Zweig.
- Sichere Turns. Mit
nonefür einen abschließenden Zusammenfassungs-Turn verhindern Sie, dass das Modell eine weitere Tool-Runde beginnt, und behalten dieselbe Tool-Liste. - Caching. Laut Anthropic macht eine Änderung von
tool_choicegecachte Nachrichtenblöcke ungültig, halten Sie den Wert also über Turns hinweg möglichst stabil.
Bei BroadNet Inference
Die API-Referenz von BroadNet dokumentiert Tool Calling nur für GLM 5.3 und Qwen3.8 27B und dokumentiert tool_choice nicht. Testen Sie jeden Wert, den Sie nutzen wollen: Senden Sie required oder eine benannte Funktion und prüfen Sie, ob die Antwort tool_calls enthält. Wenn das Erzwingen nicht wie erwartet funktioniert, nutzen Sie auto mit einer klaren Anweisung und validieren das Ergebnis, oder verwenden Sie Structured Output mit denselben Modellen. Der Beitrag zu Tool Calling mit offenen Modellen enthält eine Schleife aus Validierung und Retry.
Häufige Fehler
- In jedem Turn einer Agenten-Schleife ein Tool erzwingen, sodass sie nie eine abschließende Antwort geben kann.
- Annehmen, dass
requiredein bestimmtes Tool meint. Es meint irgendein Tool.