---
title: "DSPy dspy.LM с OpenAI-совместимым api_base | BroadRouter"
description: "Как настроить dspy.LM для BroadNet Inference с префиксом openai/, api_base и model_type=\"chat\": DSPy 3.5 отправляет модели OpenAI в Responses API."
url: https://broadrouter.com/ru/guides/dspy-openai-compatible/
lang: ru
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/guides/dspy-openai-compatible/) (обновлён 2026-11-16).

# DSPy и BroadNet Inference: укажите model\_type="chat"

Обновлено 2026-11-16

Создайте dspy.LM с моделью "openai/broadnet/glm-5.3", model\_type="chat", api\_base = https://inference.broadnet.ai/v1 и вашим api\_key BroadNet, затем передайте его в dspy.configure. Важен именно model\_type="chat". DSPy 3.5 по умолчанию отправляет модели с префиксом openai в Responses API, которого у BroadNet нет. В нашем тесте с мок-сервером без него вызов ушёл на /v1/responses и получил 404, и живой эндпоинт BroadNet тоже отвечает на этот путь 404.

DSPy — Python-фреймворк для программирования языковых моделей через сигнатуры и модули и для оптимизации промптов, которые за ними стоят. К модели его подключают через `dspy.LM`. В документации DSPy OpenAI-совместимые серверы подключаются как модель `openai/` с `api_base`. Для BroadNet Inference, который отдаёт chat completions по адресу `https://inference.broadnet.ai/v1`, нужен ещё `model_type="chat"`. BroadRouter — собственный сайт BroadNet; инструкция основана на документации DSPy 3.5.

## Установка

```bash
pip install dspy
export BROADNET_API_KEY='your-broadnet-key'
```

## Подключение

Пример задаёт модели вопрос о столице Саудовской Аравии.

```python
import os
import dspy

lm = dspy.LM(
    "openai/broadnet/glm-5.3",
    model_type="chat",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
dspy.configure(lm=lm)

qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
```

-   **`openai/`** говорит DSPy использовать клиент OpenAI. Остаток строки, `broadnet/glm-5.3`, — ID модели, который уходит в BroadNet.
-   **`model_type="chat"`** удерживает DSPy на `/v1/chat/completions`. В справочнике LM сказано, что значение по умолчанию, `'auto'`, заставляет модели OpenAI “use Responses” (перевод: «использовать Responses»).
-   **`max_tokens`** оставляет место для рассуждений. DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B думают перед ответом, и эти рассуждения учитываются в лимите.

## Что будет без model\_type

В примере на странице установки DSPy для OpenAI-совместимого сервера `model_type` не указан. В нашем тесте с DSPy 3.5.0 запрос ушёл на `/v1/responses` с `max_output_tokens`, и вызов завершился ошибкой:

```text
dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served
```

Эту ошибку вернул наш мок-сервер. Живой эндпоинт BroadNet тоже ответил на `/v1/responses` ошибкой 404, когда мы проверяли 2026-11-16. Добавление `model_type="chat"` решило проблему.

## Модули и модели

Пример ниже спрашивает, сколько длится поездка поезда, который отправляется в 9:40 и прибывает в 13:05.

```python
cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
```

| Использование в DSPy | Модель |
| --- | --- |
| `Predict`, `ChainOfThought`, запуски оптимизаторов | `broadnet/deepseek-v4.1-flash` (низкая цена за токен; тарифы с фиксированной ценой) |
| `ReAct` и другие модули с вызовом инструментов | `broadnet/glm-5.3` или `broadnet/qwen3.8-27b` |
| Попробовать DSPy на стартовом гранте | `broadnet/gemma-4-26b-a4b` (контекст 32 768 токенов) |

Документация BroadNet указывает инструменты и структурированный вывод только для GLM 5.3 и Qwen3.8 27B. Можно использовать одну модель для программы, а другую для оптимизатора, каждую со своим `dspy.LM`. [Цены на все модели](https://broadrouter.com/ru/pricing/).

## Как мы это проверяли

2026-11-15 мы установили dspy 3.5.0 в чистое виртуальное окружение и запустили `dspy.Predict` против локального мок-сервера, который отвечает в формате chat completions BroadNet, а на `/v1/responses` возвращает 404. Без `model_type` DSPy вызвал `/v1/responses` и упал. С `model_type="chat"` он вызвал `/v1/chat/completions` с ID модели `broadnet/glm-5.3` и ключом Bearer и разобрал поле answer. Мы заметили, что DSPy отправил лимит на выход как `max_completion_tokens`. Справочник API BroadNet описывает `max_tokens` и не упоминает `max_completion_tokens`, поэтому мы не можем подтвердить, что BroadNet применяет лимит, переданный таким образом. Мы тестировали с мок-сервером, а не с ключом BroadNet, поэтому реальный вывод модели не проверяли.

## Решение проблем

-   **404 на /v1/responses.** Добавьте `model_type="chat"`.
-   **404 на /v1/chat/completions.** `api_base` должен заканчиваться на `/v1`, а строка модели — состоять из `openai/` и полного ID BroadNet. Для платных моделей нужно пополнить баланс; грант $5 покрывает только `broadnet/gemma-4-26b-a4b` и две модели Transcribe.
-   **“Expected to find output fields”.** Ответ пришёл пустым или оборванным — часто потому, что рассуждения израсходовали бюджет на выход. Увеличьте `max_tokens`. [Почему ответы приходят пустыми](https://broadrouter.com/ru/guides/reasoning-tokens-empty-response/).
-   **429 во время оптимизации.** Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно. Уменьшите число потоков оптимизатора и см. [ошибки и повторные запросы](https://broadrouter.com/ru/guides/errors-and-retries/).

## Термины в этом руководстве

[Chat Completions API](https://broadrouter.com/ru/glossary/chat-completions-api/)

Chat Completions API — это HTTP-эндпоинт OpenAI, POST /v1/chat/completions, который принимает имя модели и список сообщений с ролями и возвращает следующее сообщение модели. Формат его запроса и ответа стал общим стандартом, который повторяют OpenAI-совместимые провайдеры и SDK.

[Лимит запросов (rate limit)](https://broadrouter.com/ru/glossary/rate-limit/)

Лимит запросов (rate limit) — это ограничение, которое API накладывает на объём использования клиентом за отрезок времени, например число запросов или токенов в минуту. Запросы сверх лимита отклоняются, обычно с HTTP 429 Too Many Requests, пока использование снова не опустится ниже порога.

[Оплата по факту (pay-as-you-go)](https://broadrouter.com/ru/glossary/pay-as-you-go/)

Оплата по факту (pay-as-you-go) — это модель ценообразования, при которой вы платите только за то, что использовали, по счётчику в единицах вроде токенов, запросов или минут аудио, без подписки и минимальных обязательств. Так тарифицирует большинство LLM API — с предоплаченного баланса или по периодическому счёту.

[Параллельность (concurrency)](https://broadrouter.com/ru/glossary/concurrency/)

Параллельность (concurrency) — это число запросов, которые клиент одновременно держит в работе. LLM API часто ограничивают её на ключ или тариф отдельно от лимита запросов в минуту, потому что каждый открытый запрос занимает мощности GPU, пока ответ не будет готов.

[Контекстное окно (context window)](https://broadrouter.com/ru/glossary/context-window/)

Контекстное окно — это максимальное число токенов, с которым языковая модель может работать в одном запросе. В него входят промпт, история диалога, описания инструментов, изображения и сгенерированный ответ, включая токены рассуждений. Всё, что не помещается, приходится обрезать, сжимать в краткое изложение или делить на несколько запросов.

## Вопросы и ответы

### Почему DSPy обращается к /v1/responses на BroadNet?

В справочнике dspy.LM для DSPy 3.5 сказано, что model\_type 'auto' (значение по умолчанию) заставляет модели OpenAI использовать Responses API. Модель openai/ со своим api\_base обрабатывается так же. Передайте model\_type="chat", чтобы использовать chat completions — их и обслуживает BroadNet.

### Как записать ID модели BroadNet в DSPy?

Добавьте openai/ перед ID BroadNet, например openai/broadnet/glm-5.3. По openai/ DSPy выбирает клиент и, в нашем тесте, отправил broadnet/glm-5.3 как модель.

### Какая модель BroadNet подходит для оптимизаторов DSPy?

Оптимизаторы делают много вызовов, поэтому важны стоимость и лимиты запросов. У DeepSeek V4.1 Flash низкая цена за токен, и именно она входит в тарифы BroadNet с фиксированной ценой, где токены не тарифицируются. Для модулей с вызовом инструментов, например ReAct, берите GLM 5.3 или Qwen3.8 27B.

### Влияет ли кэш DSPy на работу с BroadNet?

DSPy по умолчанию кэширует вызовы LM (cache=True), поэтому повтор того же вызова ничего не стоит. Пока проверяете подключение, задайте cache=False, иначе можете увидеть ответ из кэша.

## Похожие руководства

-   [OpenAI Python SDK и BroadNet Inference](https://broadrouter.com/ru/guides/openai-python-sdk/)
-   [LiteLLM и BroadNet Inference: SDK и прокси](https://broadrouter.com/ru/guides/litellm-proxy-custom-provider/)
-   [Почему рассуждающая модель возвращает пустой ответ](https://broadrouter.com/ru/guides/reasoning-tokens-empty-response/)
-   [Коды ошибок BroadNet Inference и когда повторять запрос](https://broadrouter.com/ru/guides/errors-and-retries/)
-   [Все инструменты, которые работают с BroadNet Inference (на английском)](https://broadrouter.com/integrations/): SDK, агенты для программирования, чат-интерфейсы и инструменты автоматизации с точными настройками для каждого

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-guides-dspy-openai-compatible&utm_content=page-cta) ·

**Источники**

-   [Документация DSPy, установка и настройка языковой модели (страница от 2026-11-10, дата обращения 2026-11-15)](https://dspy.ai/current/getting-started/installation/)
-   [Документация DSPy, справочник API dspy.LM (model\_type) (дата обращения 2026-11-15)](https://dspy.ai/current/api/models/LM/)
-   [PyPI, dspy 3.5.0 (дата обращения 2026-11-15)](https://pypi.org/project/dspy/)
-   [Справочник API BroadNet Inference (дата обращения 2026-11-16) (на английском)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-guides-dspy-openai-compatible&utm_content=sources)
