ChatOpenAI из LangChain принимает любой эндпоинт через base_url. С BroadNet Inference это работает, потому что сервис использует стандартный формат chat completions. Если вы вызываете API напрямую, откройте руководство по Python SDK.
Установка
Текущим релизам langchain-openai (1.x) нужен Python 3.11 или новее.
pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'
Подключение
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.invoke("Summarise the CAP theorem in two sentences.").content)
Комментарий в коде напоминает, что рассуждения расходуют лимит max_tokens. openai_api_base — псевдоним base_url. Если не задан ни один, LangChain читает OPENAI_API_BASE, а затем OPENAI_BASE_URL читает уже нижележащий клиент openai.
Что нужно знать
- Текст рассуждений не сохраняется. В документации LangChain сказано, что
ChatOpenAIследует официальной спецификации OpenAI и не сохраняет нестандартные поля, такие какreasoning_content. Вы получаете итоговый ответ, а цепочке обычно нужен именно он. - Оставьте место для рассуждений. GLM 5.3, DeepSeek V4.1 Flash и Qwen3.8 27B сначала рассуждают. При маленьком
max_tokensответ может прийти пустым. Почему ответы приходят пустыми. - Расход токенов при стриминге. Если эндпоинт задан через
OPENAI_BASE_URL, LangChain по умолчанию отключаетstream_usage. Передайтеstream_usage=True, если при стриминге нужно число токенов. В документации BroadNet сказано, что usage приходит в последнем чанке, если его запросить. - Оставайтесь на chat completions. BroadNet обслуживает
/v1/chat/completions, а не Responses API. В документации LangChain сказано, чтоChatOpenAIпереключается на Responses API, когда вы используете встроенные инструменты OpenAI (веб-поиск, поиск по файлам, интерпретатор кода и подобные), состояние диалога или параметрreasoning. Не используйте их и не задавайтеuse_responses_api=True. - Имя лимита токенов. По документации LangChain,
max_tokensвнутри преобразуется вmax_completion_tokens. Документация BroadNet описываетmax_tokens. Если лимит будто бы игнорируется, проверьте, какой запрос отправляет ваше приложение.
Какая модель для какой цепочки
| Цепочка | Модель |
|---|---|
| Вызов инструментов и структурированный вывод | broadnet/glm-5.3 |
| Длинные документы и агенты, безлимитный тариф | broadnet/deepseek-v4.1-flash |
| Арабский текст или изображения | broadnet/qwen3.8-27b |
Решение проблем
- 401. Ключ неверен, истёк или исчерпан лимит оплаты по факту. Если вы не передали
api_key, LangChain взялOPENAI_API_KEY, а там может лежать ключ OpenAI. - 404 или «not found». Проверьте, что
base_urlзаканчивается на/v1и что ничто не направляет вызов в Responses API (см. выше). Затем проверьте, что ID модели точно совпадает с ID в BroadNet, включая префиксbroadnet/. Для платных моделей нужно пополнить баланс; грант $5 покрывает толькоbroadnet/gemma-4-26b-a4b. - Пустой
content. Рассуждения израсходовали бюджет. Поднимитеmax_tokens. Почему ответы приходят пустыми. - Инструменты не вызываются. Используйте
broadnet/glm-5.3илиbroadnet/qwen3.8-27b. Документация BroadNet указывает инструменты только для этих двух моделей. - 429 в пакетных или параллельных цепочках. Ключ с оплатой по факту допускает 30 запросов в минуту, а одновременно — не больше 4. Для
batch()задайтеmax_concurrencyв конфигурации runnable. См. коды ошибок и повторные запросы.
