Стриминг позволяет агенту или чат-интерфейсу показывать ответ по мере генерации. BroadNet Inference использует стандартный формат стриминга chat completions, поэтому разбор берут на себя OpenAI Python SDK и OpenAI Node SDK.
Через curl
curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'
-N отключает буферизацию curl, а -D сохраняет заголовки, включая X-Request-ID.
Как выглядит поток?
Ответ приходит потоком Server-Sent Events. По стандарту WHATWG HTML каждое событие — это одна или несколько строк data:, за которыми идёт пустая строка, а строка, начинающаяся с двоеточия, — комментарий, который можно пропустить. Каждая строка data: содержит один JSON-чанк, а текст приходит в choices[0].delta.content.
Правила
- Читайте события до строки
data: [DONE], затем закройте чтение. - С
stream_options: {"include_usage": true}прямо перед[DONE]приходит ещё один чанк. В нёмusageдля всего запроса и пустой списокchoices, поэтому проверяйтеchoices, прежде чем обращаться к элементу по индексу. - Если модель их сообщает, usage включает
completion_tokens_details.reasoning_tokens(DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B сначала рассуждают) иprompt_tokens_details.cached_tokens. Входные токены из кэша оплачиваются по сниженной цене входа из кэша.
Через Python SDK
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
stream = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Count from one to three."}],
stream=True,
stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
usage = chunk.usage
print()
print(usage) # None means the stream ended before the usage chunk
SDK сам читает поток до [DONE]. Комментарий в последней строке кода означает: None — поток закончился раньше, чем пришёл чанк с usage. Тот же цикл на JavaScript — в руководстве по OpenAI Node SDK.
Если поток оборвался
Если соединение закрылось до [DONE], ответ неполный. Рекомендации BroadNet:
- запишите
X-Request-ID; - решите, может ли ваше приложение безопасно отправить новый запрос. Повтор — это новый инференс, и при оплате по факту он оплачивается заново.
Для агентов на безлимитном тарифе повторы ничего не стоят, но, пока выполняются, занимают сессию.
Документация BroadNet говорит, что прежде чем полагаться на стриминг в продакшене, нужна проверка каждой модели перед релизом, поэтому протестируйте его на той модели, с которой будете работать.
Решение проблем
- Всё выводится в конце. curl нужен флаг
-N. Если запросы идут через ваш собственный прокси, отключите в нём буферизацию ответов дляtext/event-stream. IndexErrorилиundefinedна последнем чанке. У чанка с usage пустой списокchoices. Проверяйтеchunk.choices, прежде чем читать[0].- Usage вообще не приходит. Вы не передали
stream_options, или поток оборвался до последнего чанка. - Поток останавливается с
finish_reasonlengthи почти без текста. Модель с рассуждениями потратилаmax_tokensна рассуждения. См. почему модели с рассуждениями возвращают пустые ответы. - 429 при параллельном стриминге. Каждый открытый поток считается выполняющимся запросом; ключ с оплатой по факту допускает не больше 4 одновременно. См. коды ошибок BroadNet и повторные запросы.
