---
title: "LlamaIndex OpenAILike со своим api_base | BroadRouter"
description: "Как подключить LlamaIndex к BroadNet Inference через класс OpenAILike и правильно задать api_base, context_window, is_chat_model и is_function_calling_model."
url: https://broadrouter.com/ru/guides/llamaindex-openailike/
lang: ru
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/guides/llamaindex-openailike/) (обновлён 2026-11-16).

# LlamaIndex и BroadNet Inference через OpenAILike

Обновлено 2026-11-16

Установите llama-index-llms-openai-like и создайте OpenAILike: model — ID модели BroadNet, например broadnet/glm-5.3, api\_base — https://inference.broadnet.ai/v1, ваш ключ BroadNet, context\_window — реальный контекст модели, is\_chat\_model=True, а is\_function\_calling\_model=True только для GLM 5.3 или Qwen3.8 27B. Чтобы использовать модель везде, назначьте её в Settings.llm.

LlamaIndex — Python-фреймворк для RAG и агентов. Для любого OpenAI-совместимого API, кроме самого OpenAI, в нём есть класс `OpenAILike`. BroadNet Inference отдаёт стандартные chat completions по адресу `https://inference.broadnet.ai/v1`. BroadRouter — собственный сайт BroadNet; руководство основано на справочнике API LlamaIndex для `llama-index-llms-openai-like` 0.9.0.

## Установка

```bash
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
```

## Подключение и проверка

```python
import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))
```

Если ответ напечатался, ключ, URL и ID модели работают. Комментарий в коде напоминает, что рассуждения учитываются в лимите `max_tokens`.

## Четыре важные настройки

| Параметр | Значение | По умолчанию, если не задать |
| --- | --- | --- |
| `is_chat_model` | `True` | `False` — используется устаревший эндпоинт completions, а BroadNet обслуживает chat completions |
| `context_window` | Реальный контекст модели | 3 900 токенов |
| `is_function_calling_model` | `True` только для GLM 5.3 или Qwen3.8 27B | `False` |
| `max_tokens` | 1 000 или больше | None (не отправляется, поэтому решает сервер) |

Важнее всего `is_chat_model`. В справочнике API сказано, что он “controls whether the model uses the chat or completion endpoint” (перевод: «определяет, использует ли модель эндпоинт chat или completion»), и по умолчанию он равен false. Документация BroadNet указывает `/v1/chat/completions`, а не старый эндпоинт completions.

## Использование во всём приложении

```python
from llama_index.core import Settings

Settings.llm = llm
```

После этого query engines, chat engines и агенты используют BroadNet. Эмбеддинги — отдельная история: справочник API BroadNet не указывает эндпоинт эмбеддингов, так что для индексации оставьте другую модель эмбеддингов.

## Окна контекста

| Модель | ID | `context_window` | Инструменты |
| --- | --- | --- | --- |
| GLM 5.3 | `broadnet/glm-5.3` | 1048576 | Да |
| DeepSeek V4.1 Flash | `broadnet/deepseek-v4.1-flash` | 1048576 | Не указаны |
| Qwen3.8 27B | `broadnet/qwen3.8-27b` | 262144 | Да |
| BroadNet Gemma 4 VL 26B | `broadnet/gemma-4-26b-a4b` | 32768 | Не указаны |

С контекстом в 1M токенов query engine может передавать за один вызов намного больше найденных фрагментов. Это не всегда лучше; см. [длинный контекст или RAG](https://broadrouter.com/ru/blog/long-context-vs-rag/).

## Решение проблем

-   **401.** Ключ неверный, истёк или исчерпал лимит.
-   **404.** `api_base` должен заканчиваться на `/v1`, а `is_chat_model` должен быть `True`. Затем проверьте ID модели. Для платных моделей нужно пополнить баланс; стартовый грант $5 покрывает только `broadnet/gemma-4-26b-a4b`.
-   **Пустые ответы.** Рассуждения израсходовали бюджет вывода. Увеличьте `max_tokens`. [Почему ответы приходят пустыми](https://broadrouter.com/ru/guides/reasoning-tokens-empty-response/).
-   **Агент не вызывает инструменты.** Задайте `is_function_calling_model=True` и используйте `broadnet/glm-5.3` или `broadnet/qwen3.8-27b`.
-   **429 при индексации или пакетных запросах.** Ключ с оплатой по факту допускает 30 запросов в минуту и не больше 4 одновременно. По умолчанию OpenAILike повторяет запрос 3 раза (`max_retries`). См. [ошибки и повторные запросы](https://broadrouter.com/ru/guides/errors-and-retries/).

## Термины в этом руководстве

[Контекстное окно (context window)](https://broadrouter.com/ru/glossary/context-window/)

Контекстное окно — это максимальное число токенов, с которым языковая модель может работать в одном запросе. В него входят промпт, история диалога, описания инструментов, изображения и сгенерированный ответ, включая токены рассуждений. Всё, что не помещается, приходится обрезать, сжимать в краткое изложение или делить на несколько запросов.

[Лимит запросов (rate limit)](https://broadrouter.com/ru/glossary/rate-limit/)

Лимит запросов (rate limit) — это ограничение, которое API накладывает на объём использования клиентом за отрезок времени, например число запросов или токенов в минуту. Запросы сверх лимита отклоняются, обычно с HTTP 429 Too Many Requests, пока использование снова не опустится ниже порога.

[Оплата по факту (pay-as-you-go)](https://broadrouter.com/ru/glossary/pay-as-you-go/)

Оплата по факту (pay-as-you-go) — это модель ценообразования, при которой вы платите только за то, что использовали, по счётчику в единицах вроде токенов, запросов или минут аудио, без подписки и минимальных обязательств. Так тарифицирует большинство LLM API — с предоплаченного баланса или по периодическому счёту.

[Параллельность (concurrency)](https://broadrouter.com/ru/glossary/concurrency/)

Параллельность (concurrency) — это число запросов, которые клиент одновременно держит в работе. LLM API часто ограничивают её на ключ или тариф отдельно от лимита запросов в минуту, потому что каждый открытый запрос занимает мощности GPU, пока ответ не будет готов.

[Chat Completions API](https://broadrouter.com/ru/glossary/chat-completions-api/)

Chat Completions API — это HTTP-эндпоинт OpenAI, POST /v1/chat/completions, который принимает имя модели и список сообщений с ролями и возвращает следующее сообщение модели. Формат его запроса и ответа стал общим стандартом, который повторяют OpenAI-совместимые провайдеры и SDK.

[RAG (генерация, дополненная поиском)](https://broadrouter.com/ru/glossary/rag/)

RAG (retrieval-augmented generation, генерация, дополненная поиском) — это подход, при котором приложение сначала находит во внешнем хранилище, например поисковом или векторном индексе, фрагменты, относящиеся к вопросу, а затем добавляет их в промпт, чтобы языковая модель отвечала по этому тексту, а не только по памяти.

[ИИ-агент (AI agent)](https://broadrouter.com/ru/glossary/agent/)

ИИ-агент — это система, в которой языковая модель сама направляет свои шаги к цели: решает, какие инструменты вызвать, читает результаты и повторяет, пока не выдаст итоговый ответ или не упрётся в лимит. Фиксированный сценарий, который вызывает модель в заранее заданных местах, обычно называют не агентом, а workflow.

[Эмбеддинги (embeddings)](https://broadrouter.com/ru/glossary/embeddings/)

Эмбеддинги — это списки чисел с плавающей точкой (векторы), которые модель выдаёт для фрагмента текста, изображения или другого входа. Близкие по смыслу входы получают близкие векторы, поэтому расстояние между векторами позволяет ранжировать результаты поиска, группировать документы или находить похожие объекты.

## Вопросы и ответы

### Почему не взять класс OpenAI из LlamaIndex и просто поменять api\_base?

Сама страница LlamaIndex про OpenAI советует для любого OpenAI-совместимого API, кроме официального API OpenAI, использовать интеграцию OpenAILike. К тому же в OpenAILike можно самому указать окно контекста и поддержку инструментов.

### Что будет, если не задать context\_window?

По умолчанию OpenAILike считает окно равным 3 900 токенам, и LlamaIndex обрезает промпты и найденные фрагменты намного сильнее, чем нужно моделям BroadNet. Укажите 1048576 для GLM 5.3 и DeepSeek V4.1 Flash или 262144 для Qwen3.8 27B.

### Может ли FunctionAgent из LlamaIndex работать с BroadNet?

Да, если задать is\_function\_calling\_model=True и взять модель, для которой BroadNet указывает инструменты: GLM 5.3 или Qwen3.8 27B. Для DeepSeek V4.1 Flash оставьте False: документация BroadNet не указывает для неё вызов инструментов.

### Есть ли у BroadNet эмбеддинги для индекса LlamaIndex?

Справочник API BroadNet перечисляет chat completions и транскрибацию аудио, но не эмбеддинги. Для индекса используйте отдельную модель эмбеддингов, а BroadNet — как LLM.

## Похожие руководства

-   [LangChain и BroadNet Inference](https://broadrouter.com/ru/guides/langchain-openai-base-url/)
-   [Pydantic AI и BroadNet Inference (OpenAICompatibleProvider)](https://broadrouter.com/ru/guides/pydantic-ai-openai-compatible/)
-   [OpenAI Python SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-python-sdk/)
-   [Почему рассуждающая модель возвращает пустой ответ](https://broadrouter.com/ru/guides/reasoning-tokens-empty-response/)
-   [Все инструменты, которые работают с BroadNet Inference (на английском)](https://broadrouter.com/integrations/): SDK, агенты для программирования, чат-интерфейсы и инструменты автоматизации с точными настройками для каждого

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-guides-llamaindex-openailike&utm_content=page-cta) ·

**Источники**

-   [Справочник API LlamaIndex, OpenAILike (дата обращения 2026-11-15)](https://developers.llamaindex.ai/python/framework-api-reference/llms/openai_like/)
-   [Документация LlamaIndex, пример OpenAILike (страница интеграции Grok) (дата обращения 2026-11-15)](https://developers.llamaindex.ai/python/framework/integrations/llm/grok/)
-   [Документация LlamaIndex, страница OpenAI LLM (для совместимых API отсылает к OpenAILike) (дата обращения 2026-11-15)](https://developers.llamaindex.ai/python/framework/integrations/llm/openai/)
-   [PyPI, llama-index-llms-openai-like 0.9.0, Python 3.11+ (дата обращения 2026-11-15)](https://pypi.org/project/llama-index-llms-openai-like/)
-   [Исходный код LlamaIndex, значение max\_tokens по умолчанию и тело запроса в OpenAI LLM (дата обращения 2026-11-16)](https://github.com/run-llama/llama_index/blob/main/llama-index-integrations/llms/llama-index-llms-openai/llama_index/llms/openai/base.py)
-   [Справочник API BroadNet Inference (дата обращения 2026-11-15) (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-guides-llamaindex-openailike&utm_content=sources)
