Лимит запросов ограничивает, как быстро вы тратите. Лимит расходов — сколько.
Как это работает
Провайдеры накладывают несколько уровней ограничений. Два задокументированных примера:
| Провайдер | Ограничение | Что происходит при достижении |
|---|---|---|
| Anthropic | Потолок расходов уровня на календарный месяц (Start, Build, Scale; у Custom его нет) | Использование приостанавливается до 00:00 UTC первого числа следующего месяца; HTTP 429 rate_limit_error с error.details.error_code enforced_spend_limit_reached, без retry-after |
| Anthropic | Ваш собственный, более низкий лимит на организацию или рабочее пространство | HTTP 400 invalid_request_error, сообщение начинается с “You have reached your specified API usage limits” (перевод: «Вы достигли заданных вами лимитов использования API») |
| OpenAI | Месячный лимит использования для уровня | В руководстве не описано |
| OpenAI | Оповещение о расходах | Отправляет уведомление; трафик продолжается |
| OpenAI | Жёсткий лимит расходов на организацию или проект | Затронутые запросы возвращают 429 |
Месячные потолки уровней у Anthropic — 500 USD (Start), 1 000 USD (Build) и 200 000 USD (Scale). Руководство OpenAI приводит месячные лимиты использования по уровням — от 100 USD на Free до 200 000 USD на Grow — и говорит, что уровень повышается, когда общая сумма покупок кредитов переходит пороги.
Сложность в том, что 429 от лимита расходов выглядит так же, как 429 от лимита запросов. В API Anthropic их различает код ошибки, а в ответе при достижении потолка расходов нет заголовка retry-after:
err = resp.json().get("error", {})
if resp.status_code == 429 and err.get("details", {}).get("error_code") == "enforced_spend_limit_reached":
stop_job_and_alert() # retrying will not help
elif resp.status_code == 429:
backoff_and_retry()
Почему это важно
- Оповещения приходят поздно. Быстрый цикл может потратить много, прежде чем придёт письмо. Жёсткий потолок его остановит.
- Повторы делают хуже. Клиент, который повторяет с задержкой каждый 429, будет бессмысленно долбить потолок расходов. Различайте эти два случая.
- Общие потолки. Если на уровне аккаунта один потолок на много приложений, одна вышедшая из-под контроля задача заблокирует остальные. Бюджеты на проект или собственный бюджет в коде разделяют их.
В BroadNet Inference
Справочник API BroadNet перечисляет шесть лимитов ключа с оплатой по факту. Три из них ограничивают расходы и пропускную способность: 30 запросов в минуту, 4 одновременно и расходы, определённые как “the native budget shared by the account’s pay-as-you-go keys” (перевод: «нативный бюджет, общий для ключей аккаунта с оплатой по факту»); остальные — разрешённые модели, срок жизни ключа в один год и не более десяти активных ключей на аккаунт. Аккаунт работает по предоплате, поэтому внешний потолок — это баланс. Важны два кода статуса:
- 429: “A rate, concurrency, token-rate or spending limit was reached.” (перевод: «Достигнут лимит запросов, параллельности, скорости токенов или расходов».)
- 401: отсутствующий, недействительный или просроченный ключ либо аккаунт, чей общий бюджет оплаты по факту заблокирован (в документации: “a blocked native PAYG budget holder”, перевод: «заблокированный держатель нативного бюджета PAYG»), “including exhausted PAYG allowance” (перевод: «в том числе при исчерпанном лимите PAYG»).
На странице конфиденциальности BroadNet сказано, что ключи ограничиваются по модели, скорости и расходам, но справочник API не показывает настройки бюджета на ключ или на проект, поэтому добавьте проверку текущего бюджета в свой код перед каждым запросом, как в статье о контроле расходов на LLM API. Если нужен фиксированный худший случай, тариф с фиксированной ценой или почасовой ключ за $0.50 ограничивают расходы по самой своей конструкции. Обработка повторных запросов — в руководстве по ошибкам и повторным запросам.