BroadRouter

Reasoning-Tokens

Aktualisiert

Reasoning-Tokens sind Tokens, die ein Reasoning-Modell erzeugt, um ein Problem durchzuarbeiten, bevor es seine sichtbare Antwort schreibt. Sie werden meist als Output-Tokens berechnet, zählen zum Output-Limit und zum Kontextfenster und können von der API verborgen oder zusammengefasst werden.

Auch genannt: Reasoning Tokens, Denk-Tokens, Thinking-Tokens, Chain-of-Thought-Tokens, Reasoning Effort, reasoning tokens, thinking tokens, chain-of-thought tokens, reasoning effort, extended thinking

Reasoning-Modelle denken nach, bevor sie antworten. Auch dieses Nachdenken ist Text und kostet daher Tokens, Zeit und Platz im Kontextfenster.

So funktioniert es

Ein Reasoning-Modell erzeugt zuerst eine interne Gedankenkette (Chain of Thought) und dann die sichtbare Antwort. Beides stammt aus demselben Output-Budget. Laut dem Leitfaden von OpenAI werden Reasoning-Tokens „are billed as output tokens“ (Übersetzung: „als Output-Tokens berechnet“) und belegen Platz im Kontextfenster; Anthropic sagt dasselbe über Thinking-Tokens und nennt sie „a subset of your max_tokens“ (Übersetzung: „eine Teilmenge Ihrer max_tokens“).

Im Format von Chat Completions erscheint die Zahl in usage:

"usage": {
  "completion_tokens": 1186,
  "completion_tokens_details": { "reasoning_tokens": 1024 }
}

Hier gingen 1.024 von 1.186 Output-Tokens ins Nachdenken und nur 162 in die Antwort. OpenAI warnt, dass eine Antwort das Limit erreichen kann, „before any visible output tokens are produced“ (Übersetzung: „bevor überhaupt sichtbare Output-Tokens erzeugt werden“). Dann zahlen Sie für Input und Reasoning und erhalten keine Antwort. OpenAI empfiehlt, zu Beginn der Experimente mit seinen Modellen mindestens 25.000 Tokens für Reasoning und Output zu reservieren.

Viele APIs bieten eine Einstellung wie reasoning_effort (low, medium, high), mit der Sie Qualität gegen weniger Denk-Tokens tauschen.

Warum es wichtig ist

  • Kosten. Bei einem Schlüssel mit Abrechnung pro Token wird Reasoning zum Output-Preis berechnet, meist dem höchsten Tarif. Siehe Input- und Output-Tokens.
  • Latenz. Das Nachdenken braucht Zeit, bevor das erste sichtbare Token erscheint. Bei festen Tokens pro Sekunde kosten 2.000 Reasoning-Tokens so viel Zeit wie 2.000 Output-Tokens.
  • Zuverlässigkeit. Ein kleines max_tokens, das bei einem Modell ohne Reasoning funktionierte, kann bei einem Reasoning-Modell leere Antworten liefern.

Bei BroadNet Inference

DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken vor der Antwort nach. Laut der Dokumentation von BroadNet zählt das Reasoning zu max_tokens. Für BroadNet Gemma 4 VL 26B führt die Dokumentation von BroadNet kein Reasoning auf.

Wenn das Modell es meldet, zeigt usage.completion_tokens_details.reasoning_tokens den Anteil des Nachdenkens. Setzen Sie max_tokens auf 1.000 oder mehr oder lassen Sie es ungesetzt, und verwenden Sie reasoning_effort="low" für einfache Schritte:

client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order'"}],
)

Bei Pay-as-you-go wird Reasoning zum Output-Preis berechnet, zum Beispiel $0.52 pro 1 Mio. Tokens bei DeepSeek V4.1 Flash. Mit einem unbegrenzten Plan für dieses Modell gibt es keinen Token-Zähler, Reasoning kostet dann nichts extra, sondern nur Zeit. Alle Lösungen finden Sie unter warum ein Reasoning-Modell eine leere Antwort liefert.

Häufige Fragen

Kann ich die Reasoning-Tokens sehen?

Das hängt von der API ab. Laut OpenAI sind Reasoning-Tokens über die API nicht sichtbar, können aber zusammengefasst werden. Andere Anbieter liefern das Reasoning ganz oder teilweise in einem eigenen Feld. Berechnet werden sie in jedem Fall.

Wie reduziere ich Reasoning-Tokens?

Wählen Sie für einfache Aufgaben einen niedrigeren Reasoning-Aufwand, etwa reasoning_effort auf low, sofern das Modell es unterstützt. Klare, konkrete Prompts helfen ebenfalls.

Warum habe ich von einem Reasoning-Modell eine leere Antwort bekommen?

Wahrscheinlich hat das Modell das gesamte Output-Budget für das Reasoning verbraucht. finish_reason steht dann auf length. Erhöhen Sie max_tokens oder senken Sie den Reasoning-Aufwand.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen