BroadRouter
Начать

Лимит расходов (spend limit)

Обновлено

Лимит расходов — это потолок суммы, которую аккаунт, проект или ключ API может потратить за период, обычно за месяц. Когда расход его достигает, провайдер отклоняет новые запросы, часто с ошибкой HTTP 429 или 400, пока не начнётся новый период или лимит не поднимут.

Также называют: лимит расходов, лимит трат, потолок расходов, бюджет на API, ограничение бюджета, spending limit, spend limit, spend cap, budget cap, usage cap

Лимит запросов ограничивает, как быстро вы тратите. Лимит расходов — сколько.

Как это работает

Провайдеры накладывают несколько уровней ограничений. Два задокументированных примера:

Провайдер Ограничение Что происходит при достижении
Anthropic Потолок расходов уровня на календарный месяц (Start, Build, Scale; у Custom его нет) Использование приостанавливается до 00:00 UTC первого числа следующего месяца; HTTP 429 rate_limit_error с error.details.error_code enforced_spend_limit_reached, без retry-after
Anthropic Ваш собственный, более низкий лимит на организацию или рабочее пространство HTTP 400 invalid_request_error, сообщение начинается с “You have reached your specified API usage limits” (перевод: «Вы достигли заданных вами лимитов использования API»)
OpenAI Месячный лимит использования для уровня В руководстве не описано
OpenAI Оповещение о расходах Отправляет уведомление; трафик продолжается
OpenAI Жёсткий лимит расходов на организацию или проект Затронутые запросы возвращают 429

Месячные потолки уровней у Anthropic — 500 USD (Start), 1 000 USD (Build) и 200 000 USD (Scale). Руководство OpenAI приводит месячные лимиты использования по уровням — от 100 USD на Free до 200 000 USD на Grow — и говорит, что уровень повышается, когда общая сумма покупок кредитов переходит пороги.

Сложность в том, что 429 от лимита расходов выглядит так же, как 429 от лимита запросов. В API Anthropic их различает код ошибки, а в ответе при достижении потолка расходов нет заголовка retry-after:

err = resp.json().get("error", {})
if resp.status_code == 429 and err.get("details", {}).get("error_code") == "enforced_spend_limit_reached":
    stop_job_and_alert()      # retrying will not help
elif resp.status_code == 429:
    backoff_and_retry()

Почему это важно

  • Оповещения приходят поздно. Быстрый цикл может потратить много, прежде чем придёт письмо. Жёсткий потолок его остановит.
  • Повторы делают хуже. Клиент, который повторяет с задержкой каждый 429, будет бессмысленно долбить потолок расходов. Различайте эти два случая.
  • Общие потолки. Если на уровне аккаунта один потолок на много приложений, одна вышедшая из-под контроля задача заблокирует остальные. Бюджеты на проект или собственный бюджет в коде разделяют их.

В BroadNet Inference

Справочник API BroadNet перечисляет шесть лимитов ключа с оплатой по факту. Три из них ограничивают расходы и пропускную способность: 30 запросов в минуту, 4 одновременно и расходы, определённые как “the native budget shared by the account’s pay-as-you-go keys” (перевод: «нативный бюджет, общий для ключей аккаунта с оплатой по факту»); остальные — разрешённые модели, срок жизни ключа в один год и не более десяти активных ключей на аккаунт. Аккаунт работает по предоплате, поэтому внешний потолок — это баланс. Важны два кода статуса:

  • 429: “A rate, concurrency, token-rate or spending limit was reached.” (перевод: «Достигнут лимит запросов, параллельности, скорости токенов или расходов».)
  • 401: отсутствующий, недействительный или просроченный ключ либо аккаунт, чей общий бюджет оплаты по факту заблокирован (в документации: “a blocked native PAYG budget holder”, перевод: «заблокированный держатель нативного бюджета PAYG»), “including exhausted PAYG allowance” (перевод: «в том числе при исчерпанном лимите PAYG»).

На странице конфиденциальности BroadNet сказано, что ключи ограничиваются по модели, скорости и расходам, но справочник API не показывает настройки бюджета на ключ или на проект, поэтому добавьте проверку текущего бюджета в свой код перед каждым запросом, как в статье о контроле расходов на LLM API. Если нужен фиксированный худший случай, тариф с фиксированной ценой или почасовой ключ за $0.50 ограничивают расходы по самой своей конструкции. Обработка повторных запросов — в руководстве по ошибкам и повторным запросам.

Вопросы и ответы

Стоит ли повторять запрос, упёршийся в лимит расходов?

Нет. Anthropic пишет, что у ответа 429 при достижении потолка расходов нет заголовка retry-after и повторы будут падать, пока доступ не восстановится. Оповестите человека или остановите задачу.

Оповещение о расходах — то же самое, что лимит расходов?

Нет. OpenAI различает оповещение о расходах, которое только уведомляет и пропускает трафик дальше, и жёсткий лимит расходов, при котором запросы возвращают 429.

Можно ли задать отдельный бюджет на каждый ключ BroadNet?

На странице конфиденциальности BroadNet сказано, что ключи API ограничивают доступ по модели, скорости и расходам, но справочник API описывает расходы ключа с оплатой по факту как нативный бюджет, общий для ключей аккаунта, и не показывает настройки бюджета на ключ. Проверьте параметры своего ключа, а бюджеты по приложениям соблюдайте в своём коде.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity