promptfoo — CLI с открытым исходным кодом для тестирования промптов, сравнения моделей и red-teaming LLM-приложений. Его провайдер OpenAI работает с OpenAI-совместимыми шлюзами через apiBaseUrl. BroadNet Inference обслуживает chat completions по адресу https://inference.broadnet.ai/v1, так что из одного YAML-файла можно сравнивать модели BroadNet между собой или с моделями, которыми вы уже пользуетесь. BroadRouter — собственный сайт BroadNet; руководство следует документации promptfoo по провайдеру OpenAI на момент релиза 0.125.1.
Установка
npm install -g promptfoo # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
promptfooconfig.yaml
В этом конфиге промпт спрашивает, какая столица у Саудовской Аравии, а проверка ищет в ответе слово Riyadh без учёта регистра.
description: BroadNet model comparison
prompts:
- 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
- id: openai:chat:broadnet/glm-5.3
label: GLM 5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
- id: openai:chat:broadnet/deepseek-v4.1-flash
label: DeepSeek V4.1 Flash
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
omitDefaults: true
tests:
- assert:
- type: icontains
value: Riyadh
В реальных конфигах входные данные тестов обычно лежат в tests.vars, а в промпте на них ссылаются через шаблонный синтаксис promptfoo с двойными фигурными скобками. Здесь мы оставили промпт фиксированным, чтобы конфиг запускался как есть.
Запустите (комментарий в коде: результаты бок о бок в браузере):
promptfoo eval
promptfoo view # side-by-side results in the browser
Что делает каждая настройка
openai:chat:и ID BroadNet. Всё послеopenai:chat:отправляется как ID модели, поэтому сохраняйте префиксbroadnet/. Явная частьchatзакрепляет эндпоинт Chat Completions; Responses API BroadNet не обслуживает.apiBaseUrl— базовый URL с/v1, но без/chat/completions. Путь promptfoo добавит сам.apiKeyEnvar— имя переменной, в которой лежит ключ BroadNet. Если её нет, promptfoo не переключается наOPENAI_API_KEY.max_tokens. Для запросов без рассуждений promptfoo по умолчанию ставитtemperature: 0и лимит 1024 токена. Модели DeepSeek, GLM и Qwen в BroadNet рассуждают перед ответом, поэтому при 1024 ответы могут приходить пустыми. Задайте лимит побольше, как у первого провайдера.omitDefaults: trueубирает температуру и лимит по умолчанию из promptfoo, как у второго провайдера. Тогда promptfoo не добавляет в запрос лимит выхода.
Проверки с оценкой моделью
Настройки провайдера не распространяются на грейдеры вроде llm-rubric. Чтобы оценивать моделью BroadNet, укажите её ещё раз для грейдера:
defaultTest:
options:
provider:
id: openai:chat:broadnet/glm-5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
Какие модели сравнивать
| Модель | Для чего подходит |
|---|---|
broadnet/glm-5.3 |
Тесты вызова инструментов и структурированного вывода |
broadnet/qwen3.8-27b |
Тесты с изображениями, арабским текстом или инструментами |
broadnet/deepseek-v4.1-flash |
Тесты с длинным контекстом и чувствительные к стоимости |
broadnet/gemma-4-26b-a4b |
Бесплатные тесты на стартовом гранте $5 |
Документация BroadNet заявляет инструменты и структурированный вывод только для GLM 5.3 и Qwen3.8 27B. Цены на все модели.
Как мы это проверяли
2026-11-15 мы установили promptfoo 0.125.1 на Node 24 и запустили promptfoo eval с конфигом, похожим на приведённый выше, направив его на локальный mock-сервер, который отвечает в формате chat completions BroadNet. Тесты прошли. Запросы в логе шли на /v1/chat/completions с неизменённым ID модели BroadNet и ключом Bearer. Первый провайдер отправил max_tokens: 4000 и temperature: 0; провайдер с omitDefaults: true отправил только модель и сообщения. Без BROADNET_API_KEY promptfoo остановился с сообщением “Missing BROADNET_API_KEY” (перевод: «нет BROADNET_API_KEY»). Грейдеры мы не тестировали, а ключа BroadNet у нас не было, поэтому реальный вывод моделей мы не проверяли.
Решение проблем
- Пустой или обрезанный вывод. Увеличьте
max_tokens. Почему ответы приходят пустыми. - 404. Проверьте, что
apiBaseUrlзаканчивается на/v1, а ID модели послеopenai:chat:сохраняет префиксbroadnet/. Для платных моделей нужно пополнить баланс; грант $5 покрывает толькоbroadnet/gemma-4-26b-a4bи обе модели Transcribe. - 429 на больших прогонах. promptfoo выполнял наш прогон с параллельностью 4. Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно, поэтому для больших наборов тестов снижайте её через
promptfoo eval -j 1. См. ошибки и повторные запросы.
