BroadRouter

Pourquoi un modèle de raisonnement renvoie une réponse vide

Mis à jour

Le modèle a dépensé tout le budget max_tokens en raisonnement avant de commencer la réponse visible. Sur BroadNet Inference, DeepSeek V4.1 Flash, GLM 5.3 et Qwen3.8 27B raisonnent d’abord, et le raisonnement compte dans max_tokens. Prévoyez 1 000 tokens ou plus, ou réglez reasoning_effort sur low.

Vous envoyez un prompt court avec max_tokens: 100, la requête réussit, et choices[0].message.content est vide. Rien n’est cassé : la réponse n’a simplement jamais commencé.

Ce qui se passe

Les modèles de raisonnement écrivent une chaîne de pensée cachée avant la réponse visible. Les deux partagent un même budget max_tokens. Avec une limite basse, le raisonnement consomme tout, et dans le format standard des chat completions, finish_reason vaut alors length.

Trois solutions

1. Laisser de la marge. Réglez max_tokens sur 1 000 ou plus, comme le conseille la documentation de BroadNet. Le calculateur de max_tokens pour modèles de raisonnement dimensionne la limite selon la longueur de votre réponse et affiche le coût.

2. Raisonner moins. Réglez reasoning_effort sur low pour les tâches simples :

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

response = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)

3. Surveiller l’usage. Quand le modèle le renvoie, usage.completion_tokens_details.reasoning_tokens indique la part consacrée au raisonnement :

print(response.choices[0].finish_reason)                       # "length" means the budget ran out
details = response.usage.completion_tokens_details             # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")

En streaming, ajoutez stream_options={"include_usage": True} : le même usage arrive dans le dernier chunk. Voir le streaming des chat completions.

Quels modèles raisonnent

Modèle Raisonne d’abord
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) Oui
GLM 5.3 (broadnet/glm-5.3) Oui
Qwen3.8 27B (broadnet/qwen3.8-27b) Oui
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) Non indiqué

Dépannage

  • content vide, finish_reason vaut length. Augmentez max_tokens ou réglez reasoning_effort sur low.
  • content vide, finish_reason vaut stop. La limite n’était pas en cause. Vérifiez votre prompt et affichez la réponse complète pour voir ce qui est revenu.
  • AttributeError sur completion_tokens_details. Le modèle n’a pas renvoyé le détail pour cette requête ; prévoyez le cas None comme dans l’exemple ci-dessus.
  • Un premier token lent en streaming. Le modèle raisonne avant d’écrire la réponse. Un reasoning_effort plus bas peut raccourcir l’attente.

Si vous faites tourner des agents toute la journée, les tokens de raisonnement s’accumulent à l’usage. Le calculateur de prix BroadNet montre à partir de quand un forfait illimité à prix fixe revient moins cher.

Questions fréquentes

Le raisonnement est-il facturé ?

À l’usage, le raisonnement est comptabilisé dans les tokens de complétion, facturés au prix de sortie. Avec un forfait illimité pour DeepSeek V4.1 Flash, il n’y a pas de compteur de tokens : ils ne coûtent donc rien de plus.

BroadNet Gemma 4 VL 26B raisonne-t-il ?

La documentation de BroadNet indique le raisonnement pour DeepSeek V4.1 Flash, GLM 5.3 et Qwen3.8 27B, pas pour Gemma 4 VL 26B.

Pourquoi le contenu du message est-il vide quand finish_reason vaut length ?

Le budget de tokens s’est épuisé avant le début de la réponse visible. Un modèle de raisonnement écrit d’abord son raisonnement, et ces tokens comptent dans max_tokens. Passez max_tokens à 1 000 ou plus, ou baissez reasoning_effort.

À quoi sert reasoning_effort low ?

Il demande au modèle de moins raisonner avant de répondre. La documentation de BroadNet le propose comme alternative à un max_tokens plus élevé quand une limite courte laisse la réponse vide. Utilisez-le pour des tâches simples comme la classification ou l’extraction.

Comment voir combien de tokens sont partis dans le raisonnement ?

Lisez usage.completion_tokens_details.reasoning_tokens dans la réponse, quand le modèle le renvoie. En streaming, envoyez stream_options avec include_usage à true et lisez la valeur dans le dernier chunk.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity