«Нам нужен выделенный эндпоинт» — это начало разговора, а не спецификация. Провайдер не сможет подобрать размер, разместить и оценить мощности без ваших цифр, а вы без них не сможете оценить его ответ. В этой статье перечислено, что нужно определить до запроса, на примере извлечения данных из счетов, а в конце — скрипт, который проверяет выданный вам эндпоинт.
Всё это применимо к любому провайдеру. Там, где речь идёт о предложении BroadNet, статья опирается только на то, что BroadNet заявляет публично (проверено 15 ноября 2026 года). Всё, что сверх этого, — вопрос к BroadNet.
Когда приватный эндпоинт имеет смысл?
Обычно по одной из четырёх причин:
- Трафик выше лимитов самообслуживания. Справочник API BroadNet указывает для ключа с оплатой по факту 30 запросов в минуту и 4 одновременных запросов. Устойчивая нагрузка выше этого — вопрос мощностей, а не повторов. (Короткие всплески разобраны в статье об обработке ошибок 429.)
- Модель, которой нет в публичном списке. Каталог BroadNet помечает некоторые модели как «available on request» (перевод: «доступно по запросу»), включая Qwen3-VL 30B-A3B, Qwen3-VL 8B и дообученную BroadNet версию Cohere Transcribe Arabic. Разница объясняется в статье о том, как читать каталог моделей.
- Место обработки, которое вы обязаны контролировать. Правила локализации данных, например из чек-листа по PDPL Саудовской Аравии и ОАЭ, могут требовать региона, согласованного письменно.
- Предсказуемая задержка. Общие мощности зависят от нагрузки других пользователей. Зарезервированные мощности убирают эту переменную, но не сетевое расстояние и не размер ваших собственных промптов.
Если ничего из этого не про вас, ключ самообслуживания проще. А если объём очень большой и стабильный, сравните с собственным размещением: методика — в статье о стоимости самостоятельного хостинга и API.
Что определить про нагрузку?
Напишите бриф на одну страницу. Вот цифры, которые нужны провайдеру:
| Пункт | Что записать | Пример |
|---|---|---|
| Задача | Что делает модель, одним предложением | Читает фото счетов, возвращает поля в JSON |
| Объём | Запросы в день и доля в самый загруженный час | 40 000 в день, 15% в пиковый час |
| Токены | Средние и 95-й перцентиль входных и выходных токенов | 1 800 на входе (изображение одной страницы + промпт), 350 на выходе |
| Контекст | Самый большой одиночный запрос, промпт плюс ответ | 4 000 токенов |
| Задержка | Допустимое время до первого токена и до полного ответа | Полный ответ в пределах 10 секунд |
| Стриминг | Нужен или нет | Не нужен (пакетная обработка) |
| Входные данные | Текст, изображения, аудио; форматы и размеры | JPEG и PNG, по одной странице |
| Языки | Какие и в какой доле | Арабский и английский, 60/40 |
| Рост | Ожидаемый объём через 6 и 12 месяцев | Вдвое больше через 12 месяцев |
Число токенов измеряйте на реальных образцах, а не угадывайте. Арабскому часто нужно больше токенов, чем английскому, на тот же текст; насколько больше на разных токенизаторах, показывают счётчик арабских токенов и реальная стоимость по языкам. Для изображений первую оценку даст калькулятор токенов изображений.
Как перевести объём в токены в секунду и параллельность?
Пиковые запросы в секунду — это объём самого загруженного часа, делённый на 3600. Параллельность — число запросов, обрабатываемых одновременно, — выводится из закона Литтла: среднее число объектов в системе равно интенсивности поступления, умноженной на среднее время пребывания каждого в системе. Для API это запросы в секунду × секунды на запрос.
import math
def size(requests_per_day: int, peak_share_of_day_in_busiest_hour: float,
in_tokens: int, out_tokens: int, out_tok_per_s_per_stream: float) -> dict:
"""Rough peak numbers to put in a capacity enquiry. Measure your own inputs; these are not provider specs."""
peak_rps = requests_per_day * peak_share_of_day_in_busiest_hour / 3600
seconds_per_request = out_tokens / out_tok_per_s_per_stream # ignores queueing and prompt time
concurrency = peak_rps * seconds_per_request # Little's law: L = λ × W
return {
"peak_requests_per_second": round(peak_rps, 2),
"seconds_per_request": round(seconds_per_request, 1),
"concurrent_requests_at_peak": math.ceil(concurrency),
"peak_input_tokens_per_second": round(peak_rps * in_tokens),
"peak_output_tokens_per_second": round(peak_rps * out_tokens),
"monthly_tokens_millions": round(requests_per_day * 30 * (in_tokens + out_tokens) / 1e6, 1),
}
# 40,000 invoice extractions a day, 15% of them in the busiest hour,
# 1,800 tokens in, 350 out, 60 tokens/s per stream measured on a trial.
print(size(40_000, 0.15, 1_800, 350, 60))
Скрипт вывел 1,67 запроса в секунду в пик, около 5,8 секунды на запрос, 10 одновременных запросов, 3000 входных и 583 выходных токена в секунду и 2580 млн токенов в месяц. 60 токенов в секунду — допущение для примера; измерьте свою скорость на модели, которую будете использовать, потому что скорость зависит от модели, длины промпта и нагрузки. Что именно замерять, объясняет статья о задержке, TTFT и пропускной способности.
Две оговорки. Формула не учитывает время обработки промпта, так что длинные промпты или большие изображения делают реальные запросы медленнее и поднимают параллельность. А средние значения скрывают всплески: дайте провайдеру размер запроса на 95-м перцентиле и короткий профиль всплесков, а не только среднее. Пик в этом примере (около 100 запросов в минуту и 10 одновременно) намного превышает опубликованные лимиты самообслуживания для одного ключа с оплатой по факту — именно в такой ситуации разговор о мощностях и стоит начинать.
Как быть с регионом, локализацией данных и лимитами?
Согласуйте их явно и письменно до того, как будут переданы какие-либо регулируемые данные. Условия BroadNet (§7.3a) гласят: «Contact us to agree processing locations for your deployment before sending data with residency requirements» (перевод: «Свяжитесь с нами, чтобы согласовать места обработки для вашего развёртывания, прежде чем отправлять данные с требованиями к локализации»), а также что при обработке у партнёров и резервной обработке участвуют другие обработчики, а актуальный список субобработчиков клиенты могут получить по запросу. Заявление BroadNet о конфиденциальности сообщает, что собственные модели BroadNet и размещаемые ею модели с открытыми весами работают на оборудовании, которым BroadNet владеет или которое арендует в США, а мощности партнёров служат резервом; на обзорной странице сказано, что региональная обработка в MENA или Европе доступна по запросу.
Поэтому вопросы к любому провайдеру такие:
- В каком регионе обрабатываются запросы и в каком регионе находятся резервные мощности?
- Какие субобработчики могут иметь доступ к трафику, в том числе при отказе или переполнении?
- Каковы лимиты эндпоинта по частоте, параллельности и токенам и что происходит при их превышении?
- Какие условия доступности и поддержки действуют и где они записаны? Условия BroadNet (§7.4) говорят, что у самообслуживания нет обязательств по доступности, а приватные эндпоинты и зарезервированные мощности регулируются вашим отдельным письменным соглашением. Что покрывают письменные SLA других провайдеров, смотрите в статье о сравнении SLA для LLM API.
- Что хранится? Для API инференса BroadNet опубликованная позиция такова: содержимое запросов к инференсу не хранится; необходимые метаданные аккаунта, биллинга и безопасности хранятся так, как описано в её заявлении о конфиденциальности. Убедитесь, что то же относится к вашему эндпоинту.
Какая модель и под какой лицензией?
Назовите точную модель и версию и проверьте, что её лицензия допускает ваше использование и обслуживание через API. На страницах моделей BroadNet для Gemma 4 26B, Qwen3-VL 30B-A3B и базовых весов Cohere Transcribe указана Apache-2.0, а для дообученной BroadNet версии Cohere Transcribe Arabic — «under contract» (перевод: «по договору»). В Условиях BroadNet сказано, что модели регулируются своими лицензиями и что лицензия DeepSeek V4.1 Flash действует и при размещении у партнёров.
Согласуйте и контекстное окно. Лимиты контекста зависят от модели и развёртывания, а не только от максимума базовой модели: BroadNet указывает 32K токенов для Gemma 4 VL 26B в своём публичном API и 16K для Qwen3-VL 30B-A3B, доступной по запросу. Проверяйте в калькуляторе контекстного окна свой самый большой запрос, а не средний.
Как задать бюджет?
BroadNet не публикует цену приватного эндпоинта; на её обзорной странице сказано: «Reserved GPU, priced to your traffic. Ask for a quote.» (перевод: «Зарезервированный GPU с ценой под ваш трафик. Запросите предложение.»). Поэтому сначала задайте собственный потолок. Посчитайте ту же нагрузку на самообслуживании в калькуляторе стоимости LLM API, взяв месячное число токенов из скрипта расчёта, и решите, сколько сверх этого для вас стоят предсказуемые мощности, регион или модель не из публичного списка. Предложение ниже цифры самообслуживания — приятный бонус; предложение намного выше неё должно быть оправдано пунктом из вашего списка требований.
Как отправить запрос?
Справочник API BroadNet говорит: «Private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint» (перевод: «Приватные эндпоинты, наши арабские дообученные модели и другие модели по запросу доступны по приватному ID, выдаваемому вместе с эндпоинтом»). На обзорной странице просят указать «your model, languages and traffic requirements» (перевод: «вашу модель, языки и требования к трафику»). Отправьте свой одностраничный бриф через страницу контактов, без API-ключей и данных клиентов. Укажите результаты расчёта, регион, модель и лицензию, целевую задержку, потолок бюджета и сроки.
Как проверить выданный эндпоинт?
До продакшен-трафика проверьте эндпоинт на соответствие договорённостям. Этот скрипт использует только стандартную библиотеку Python. Он проверяет, что приватный ID модели работает, что стриминг завершается маркером data: [DONE], описанным в документации BroadNet, что согласованная параллельность проходит без 429 и что неверный ID модели отклоняется.
import json, os, sys, time, urllib.error, urllib.request
from concurrent.futures import ThreadPoolExecutor
BASE = os.environ["ENDPOINT_BASE_URL"].rstrip("/") # from your agreement, e.g. https://.../v1
KEY = os.environ["ENDPOINT_API_KEY"]
MODEL = os.environ["ENDPOINT_MODEL_ID"] # the private ID issued with the endpoint
AGREED_CONCURRENCY = int(os.environ.get("AGREED_CONCURRENCY", "4"))
def post(payload: dict, stream=False):
req = urllib.request.Request(f"{BASE}/chat/completions", data=json.dumps(payload).encode(),
headers={"Authorization": f"Bearer {KEY}", "Content-Type": "application/json"})
t0 = time.monotonic()
try:
with urllib.request.urlopen(req, timeout=120) as r:
body = r.read().decode()
return r.status, r.headers.get("X-Request-ID"), body, time.monotonic() - t0
except urllib.error.HTTPError as e:
return e.code, e.headers.get("X-Request-ID"), e.read().decode(), time.monotonic() - t0
def main() -> int:
msg = [{"role": "user", "content": "Reply with the word OK."}]
results = {}
code, rid, body, secs = post({"model": MODEL, "messages": msg, "max_tokens": 1000})
ok = code == 200 and "usage" in json.loads(body)
results["model_id_accepted"] = (ok, f"HTTP {code}, request ID {rid}, {secs:.2f}s")
code, _, body, _ = post({"model": MODEL, "messages": msg, "stream": True,
"stream_options": {"include_usage": True}})
results["stream_ends_with_DONE"] = (code == 200 and body.rstrip().endswith("data: [DONE]"), f"HTTP {code}")
with ThreadPoolExecutor(AGREED_CONCURRENCY) as pool:
codes = list(pool.map(lambda _: post({"model": MODEL, "messages": msg, "max_tokens": 1000})[0],
range(AGREED_CONCURRENCY)))
results["agreed_concurrency_no_429"] = (all(c == 200 for c in codes), f"codes {sorted(codes)}")
code, _, _, _ = post({"model": MODEL + "-typo", "messages": msg})
results["unknown_model_rejected"] = (code in (400, 403, 404), f"HTTP {code}")
for name, (passed, note) in results.items():
print(f"{'PASS' if passed else 'FAIL'} {name}: {note}")
return 0 if all(p for p, _ in results.values()) else 1
if __name__ == "__main__":
sys.exit(main())
Мы запустили его против локального mock-сервера (не реального эндпоинта), допускающего 8 одновременных запросов. С AGREED_CONCURRENCY=8 все четыре проверки прошли. С 12 проверка параллельности провалилась: восемь ответов 200 и четыре 429 — именно такой результат лучше увидеть до запуска, а не после. max_tokens=1000 оставляет запас для моделей с рассуждениями, которые тратят часть бюджета до ответа.
После smoke-теста проведите короткий нагрузочный тест на вашем измеренном пике с промптами реального размера и запишите время до первого токена и задержку полного ответа эндпоинта. Сохраняйте ID запросов: документация BroadNet просит указывать в обращениях в поддержку X-Request-ID, время, маршрут и статус.
Как сюда вписывается BroadNet Inference
BroadRouter — собственный сайт BroadNet. BroadNet Inference продаёт доступ самообслуживания к публичным моделям с оплатой за токены, за минуту аудио, по сессиям тарифов и по почасовым ключам; цены — на странице цен. Приватные эндпоинты, региональная обработка, дообученные модели и модели с пометкой «по запросу» через самообслуживание не продаются: это запросы, по которым BroadNet готовит предложение и согласует условия письменно. Эта статья не может сказать, что BroadNet предложит под вашу нагрузку. Чёткий бриф — способ это выяснить.
