Когда выходит модель с открытыми весами, кто-то всё равно должен её запускать. Провайдеры инференса — это компании, которые этим занимаются.
Как это работает
Провайдер загружает веса модели на GPU, запускает серверное ПО, которое объединяет запросы в батчи и управляет памятью, и ставит перед этим API. Большинство предоставляют OpenAI-совместимый API, поэтому провайдера меняют, поменяв базовый URL, ключ и ID модели.
Термин охватывает несколько бизнес-моделей:
- Лаборатории, которые обслуживают собственные модели.
- Независимые хостинги, которые обслуживают модели с открытыми весами от многих лабораторий.
- Облака, которые сдают в аренду GPU или управляемые эндпоинты, иногда с оплатой за GPU-час.
- Агрегаторы. Inference Providers от Hugging Face дают доступ к “hundreds of machine learning models, powered by world-class inference providers” (перевод: «сотням моделей машинного обучения на базе провайдеров инференса мирового уровня») через один токен. LLM-роутер работает так же.
Поскольку формат API общий, один и тот же код работает с любым из них. Меняются только три значения (в комментариях к коду: провайдер, его ключ, ID его модели):
import os
from openai import OpenAI
msgs = [{"role": "user", "content": "Hello"}]
client = OpenAI(
base_url="https://inference.broadnet.ai/v1", # the provider
api_key=os.environ["BROADNET_API_KEY"], # its key
)
client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=msgs) # its model ID
Различается и ценообразование: за токен, за минуту аудио, за час или фиксированная цена за сессию.
Почему это важно
Выбирая провайдера, вы в основном выбираете компромиссы, которых не видно по названию модели:
- Обращение с данными. Хранение, логирование и использование для обучения различаются. Ищите письменную политику нулевого хранения данных.
- Где всё работает. Регион и субподрядчики важны для соответствия требованиям.
- Лимиты. Параллельность, лимиты запросов и длина контекста могут быть ниже максимума модели.
- Настройки обслуживания. Точность вычислений и параметры сервера влияют на скорость, а иногда и на ответы.
- Форма цены. Подходящая форма зависит от вашего трафика; см. сравнение цен провайдеров.
- Уровень цен. Одна и та же открытая модель у одного провайдера может стоить в несколько раз дороже, чем у другого. См. одна модель, разные хостинги.
В BroadNet Inference
BroadNet Inference — провайдер инференса. В её заявлении о конфиденциальности сказано, что её собственные модели и размещаемые ею модели с открытыми весами “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (перевод: «работают на собственном или арендованном оборудовании BroadNet в США, с мощностями партнёров в качестве резерва»), а модели, которые обслуживают партнёры, работают на условиях нулевого хранения данных у партнёров по инференсу в США. Содержимое запросов и ответов не хранится.
Она предлагает чат-модели, включая DeepSeek V4.1 Flash и GLM 5.3, и две модели распознавания речи через OpenAI-совместимый API по адресу https://inference.broadnet.ai/v1. Варианты оплаты: оплата по факту за токен или минуту аудио, почасовой ключ или тарифы с фиксированной ценой для DeepSeek V4.1 Flash. Чтобы сравнить её с другими по вашим критериям, используйте чек-лист выбора провайдера.