BroadRouter

LlamaIndex и BroadNet Inference через OpenAILike

Обновлено

Установите llama-index-llms-openai-like и создайте OpenAILike: model — ID модели BroadNet, например broadnet/glm-5.3, api_base — https://inference.broadnet.ai/v1, ваш ключ BroadNet, context_window — реальный контекст модели, is_chat_model=True, а is_function_calling_model=True только для GLM 5.3 или Qwen3.8 27B. Чтобы использовать модель везде, назначьте её в Settings.llm.

LlamaIndex — Python-фреймворк для RAG и агентов. Для любого OpenAI-совместимого API, кроме самого OpenAI, в нём есть класс OpenAILike. BroadNet Inference отдаёт стандартные chat completions по адресу https://inference.broadnet.ai/v1. BroadRouter — собственный сайт BroadNet; руководство основано на справочнике API LlamaIndex для llama-index-llms-openai-like 0.9.0.

Установка

pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'

Подключение и проверка

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))

Если ответ напечатался, ключ, URL и ID модели работают. Комментарий в коде напоминает, что рассуждения учитываются в лимите max_tokens.

Четыре важные настройки

Параметр Значение По умолчанию, если не задать
is_chat_model True False — используется устаревший эндпоинт completions, а BroadNet обслуживает chat completions
context_window Реальный контекст модели 3 900 токенов
is_function_calling_model True только для GLM 5.3 или Qwen3.8 27B False
max_tokens 1 000 или больше None (не отправляется, поэтому решает сервер)

Важнее всего is_chat_model. В справочнике API сказано, что он “controls whether the model uses the chat or completion endpoint” (перевод: «определяет, использует ли модель эндпоинт chat или completion»), и по умолчанию он равен false. Документация BroadNet указывает /v1/chat/completions, а не старый эндпоинт completions.

Использование во всём приложении

from llama_index.core import Settings

Settings.llm = llm

После этого query engines, chat engines и агенты используют BroadNet. Эмбеддинги — отдельная история: справочник API BroadNet не указывает эндпоинт эмбеддингов, так что для индексации оставьте другую модель эмбеддингов.

Окна контекста

Модель ID context_window Инструменты
GLM 5.3 broadnet/glm-5.3 1048576 Да
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash 1048576 Не указаны
Qwen3.8 27B broadnet/qwen3.8-27b 262144 Да
BroadNet Gemma 4 VL 26B broadnet/gemma-4-26b-a4b 32768 Не указаны

С контекстом в 1M токенов query engine может передавать за один вызов намного больше найденных фрагментов. Это не всегда лучше; см. длинный контекст или RAG.

Решение проблем

  • 401. Ключ неверный, истёк или исчерпал лимит.
  • 404. api_base должен заканчиваться на /v1, а is_chat_model должен быть True. Затем проверьте ID модели. Для платных моделей нужно пополнить баланс; стартовый грант $5 покрывает только broadnet/gemma-4-26b-a4b.
  • Пустые ответы. Рассуждения израсходовали бюджет вывода. Увеличьте max_tokens. Почему ответы приходят пустыми.
  • Агент не вызывает инструменты. Задайте is_function_calling_model=True и используйте broadnet/glm-5.3 или broadnet/qwen3.8-27b.
  • 429 при индексации или пакетных запросах. Ключ с оплатой по факту допускает 30 запросов в минуту и не больше 4 одновременно. По умолчанию OpenAILike повторяет запрос 3 раза (max_retries). См. ошибки и повторные запросы.

Вопросы и ответы

Почему не взять класс OpenAI из LlamaIndex и просто поменять api_base?

Сама страница LlamaIndex про OpenAI советует для любого OpenAI-совместимого API, кроме официального API OpenAI, использовать интеграцию OpenAILike. К тому же в OpenAILike можно самому указать окно контекста и поддержку инструментов.

Что будет, если не задать context_window?

По умолчанию OpenAILike считает окно равным 3 900 токенам, и LlamaIndex обрезает промпты и найденные фрагменты намного сильнее, чем нужно моделям BroadNet. Укажите 1048576 для GLM 5.3 и DeepSeek V4.1 Flash или 262144 для Qwen3.8 27B.

Может ли FunctionAgent из LlamaIndex работать с BroadNet?

Да, если задать is_function_calling_model=True и взять модель, для которой BroadNet указывает инструменты: GLM 5.3 или Qwen3.8 27B. Для DeepSeek V4.1 Flash оставьте False: документация BroadNet не указывает для неё вызов инструментов.

Есть ли у BroadNet эмбеддинги для индекса LlamaIndex?

Справочник API BroadNet перечисляет chat completions и транскрибацию аудио, но не эмбеддинги. Для индекса используйте отдельную модель эмбеддингов, а BroadNet — как LLM.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity