BroadRouter
Начать

Параллельность (concurrency)

Обновлено

Параллельность (concurrency) — это число запросов, которые клиент одновременно держит в работе. LLM API часто ограничивают её на ключ или тариф отдельно от лимита запросов в минуту, потому что каждый открытый запрос занимает мощности GPU, пока ответ не будет готов.

Также называют: параллельные запросы, одновременные запросы, лимит параллельности, конкурентность, concurrency, concurrent requests, parallel requests, in-flight requests, concurrency limit

Rate limit считает запросы за период времени. Параллельность считает запросы в один момент. Запросы к LLM могут длиться много секунд, поэтому второй лимит часто срабатывает первым.

Как это работает

Закон Литтла связывает три величины:

запросов в работе = частота запросов × среднее время запроса

Возьмём гипотетический ключ, который допускает 5 запросов в работе и 60 запросов в минуту, при этом каждый запрос длится 20 секунд. Лимит параллельности позволяет не больше 5 ÷ 20 = 0,25 запроса в секунду, то есть 15 в минуту. До 60 в минуту вы не дойдёте: ограничивает именно параллельность. При запросах по 2 секунды тот же лимит позволяет 150 в минуту, и тогда ограничивает уже rate limit. Калькулятор rate limit посчитает это для ваших чисел.

Длинные ответы, токены рассуждений и длинные промпты удлиняют запросы, а значит, быстрее расходуют параллельность. Потоковый ответ держит слот до своего конца.

Почему это важно

Провайдеры ограничивают параллельность, потому что память и вычисления GPU общие. Бенчмарки NVIDIA показывают: с ростом параллельности на сервере суммарный вывод растёт, а токены в секунду каждого запроса падают. Лимит на ключ не даёт одному клиенту замедлить всех.

Для вашего приложения параллельность задаёт размер пула воркеров и число агентов, которые могут работать бок о бок. Делайте пул равным лимиту, а не больше, иначе лишние воркеры будут только собирать ошибки 429.

В BroadNet Inference

Доступ Параллельность
Ключ с оплатой по факту 4 запросов в работе, плюс 30 запросов в минуту
Почасовой ключ Один поток
Безлимитный тариф Один запрос за раз на сессию

Тарифы продают именно параллельность. У сессии нет счётчика токенов, и она обрабатывает один запрос за раз — так, как работает один агент. Запросы в одной сессии выстраиваются в очередь друг за другом. Чтобы запускать агентов параллельно, покупайте по сессии на агента: оркестратору с тремя субагентами нужно четыре сессии. На одном ключе может быть несколько сессий.

Прочитайте, как работают безлимитные сессии и как запускать параллельных агентов для кода на фиксированном тарифе. Агенты тратят много времени на запуск инструментов, поэтому измерьте реальное перекрытие, прежде чем покупать дополнительные сессии.

Частые ошибки

  • Запускать по воркеру на задачу без пула. Пакет из 100 задач превращается в 100 одновременных запросов.
  • Ставить тайм-аут клиента короче длинного ответа с рассуждениями. Клиент сдаётся, а слот всё ещё занят.

Вопросы и ответы

Что будет, если превысить лимит параллельности?

Зависит от провайдера: лишний запрос либо отклоняется, часто с кодом 429, либо ждёт в очереди, пока не освободится слот.

Занимает ли стриминг слот параллельности?

Да. Потоковый ответ держит свой слот, пока не придёт последний чанк, поэтому длинные ответы занимают слот дольше.

Сколько параллельных запросов нужно ИИ-агенту для кода?

Одному агенту обычно хватает одного: он ждёт каждый ответ перед следующим шагом. Оркестратору с тремя одновременно работающими субагентами нужно до четырёх: четыре, если оркестратор шлёт запросы, пока они работают, и три, если он их ждёт.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity