Ответ, который выглядит законченным, может таким не быть. finish_reason — единственное поле, которое говорит, закончила ли модель сама.
Как это работает
Каждый элемент choices содержит finish_reason. Справочник OpenAI перечисляет такие значения:
| Значение | Смысл (по OpenAI) |
|---|---|
stop |
Естественная точка остановки или сработала заданная стоп-последовательность |
length |
“The maximum number of tokens specified in the request was reached” (перевод: «достигнуто максимальное число токенов, указанное в запросе») |
tool_calls |
Модель вызвала инструмент |
content_filter |
“Content was omitted due to a flag from our content filters” (перевод: «контент опущен из-за срабатывания наших фильтров контента») |
function_call |
Старая, устаревшая форма вызова функции |
Messages API от Anthropic использует stop_reason со своими значениями, среди которых end_turn, max_tokens, stop_sequence, tool_use, pause_turn, refusal и model_context_window_exceeded. Когда срабатывает стоп-последовательность, Anthropic также возвращает, какая именно, в stop_sequence.
choice = r.choices[0]
if choice.finish_reason == "length":
raise RuntimeError("cut off: raise max_tokens and resend")
if choice.finish_reason == "tool_calls":
run_tools(choice.message.tool_calls)
Почему это важно
- Обрезанный JSON. Ответ с
lengthнеполон. Если дописать закрывающие скобки, он разберётся, но данные будут потеряны. Об этом — статья о невалидном JSON. - Циклы агентов.
tool_callsозначает «запусти инструменты и вызови меня снова», а не «готово». - Кэширование. Кэшируйте только ответы, завершившиеся с
stop. Обрезанный ответ, пролежавший в кэше неделю, выглядит как ошибка модели.
В BroadNet Inference
Справочник API BroadNet не описывает значения finish_reason, поэтому логируйте то, что получаете, прежде чем на них полагаться. Зато в нём описана главная причина неожиданных length: DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают, прежде чем ответить, а токены рассуждений входят в max_tokens. BroadNet пишет, что при маленьком лимите “the reasoning can use the whole budget and the answer comes back empty” (перевод: «рассуждения могут израсходовать весь бюджет, и ответ вернётся пустым»). Оставляйте 1000 токенов или больше либо задайте reasoning_effort равным low. Исправление пошагово разобрано в руководстве о пустом ответе.
Частые ошибки
- Читать
message.content, не проверив сначала finish_reason. - Считать пустой ответ сбоем модели, когда весь бюджет ушёл на рассуждения.