«Высокая доступность» — это надежда. SLA — это число в договоре и заранее оговорённая компенсация, если число не выдержано.
Как это работает
SLA определяет четыре вещи: что покрывается, как измеряется простой, что вы получаете при недостижении цели и как подать заявку. Наглядный реальный пример — SLA Google для онлайн-инференса Gemini API на платформе Gemini Enterprise Agent Platform:
- Цель. 99,5 % Monthly Uptime Percentage (месячного процента доступности) для методов
generateContentиstreamGenerateContent(95 % для моделей, предназначенных для более короткой доступности). - Простой. “more than a five percent Error Rate” (перевод: «доля ошибок больше пяти процентов»), где ошибки — это ответы HTTP 5XX на корректные запросы, учитываемые только в периодах “five or more consecutive minutes” (перевод: «пять или более минут подряд»).
- Кредиты.
| Месячный аптайм | Кредит от месячного счёта за сервис |
|---|---|
| от 99,0 % до менее 99,5 % | 10 % |
| от 95,0 % до менее 99,0 % | 25 % |
| менее 95,0 % | 50 % |
- Заявка. Клиент “must notify Google technical support within 30 days” (перевод: «должен уведомить техподдержку Google в течение 30 дней») и предоставить логи, показывающие периоды простоя. Кредиты ограничены 50 % месячного счёта за сервис.
- Исключения. Не покрываются функции до GA, Grounding with Google Search, ошибки собственного ПО клиента, дедлайны короче серверного значения по умолчанию и ошибки квот.
Тот же SLA добавляет для некоторых моделей в режиме Provisioned Throughput цель по задержке, измеряемую в выходных токенах в секунду. Azure, Amazon Bedrock, OpenAI, Anthropic и других бок о бок сравнивает статья SLA у LLM API: сравнение.
Почему это важно
- Аптайм — не пропускная способность. SLA, который учитывает только ошибки 5XX, ничего не говорит о лимитах запросов (429) или медленных ответах, если в нём нет цели по задержке.
- Кредиты небольшие. Кредит в 10 % редко сопоставим с тем, во что сбой обходится вашему продукту. Всё равно проектируйте с расчётом на отказы: повторные запросы с экспоненциальной задержкой, таймауты и резервная модель или провайдер. См. руководство по ошибкам и повторным запросам.
- Читайте исключения. SLA Google исключает функции до GA и отдельные сервисы; ищите похожие оговорки в любом SLA.
- Ведите свои логи. Для заявки нужны доказательства. Логируйте ID запросов, временные метки и коды статусов.
В BroadNet Inference
У API самообслуживания BroadNet, как с оплатой по факту, так и на тарифах, SLA нет. Её Условия обслуживания (§7.4) гласят: “We aim to keep the API available and publish what we measure, but self-serve has no availability commitment.” (перевод: «Мы стремимся поддерживать доступность API и публикуем то, что измеряем, но у самообслуживания нет обязательств по доступности».) Далее сказано, что “Service levels exist only in a separate written agreement” (перевод: «уровни сервиса существуют только в отдельном письменном соглашении») и что приватные эндпоинты и зарезервированные мощности регулируются этим соглашением. Если вам нужен аптайм по договору, спросите BroadNet о приватном эндпоинте; что при этом планировать, описано в нашей статье о планировании приватного эндпоинта. Для самообслуживания заложите резервный вариант: в чек-листе выбора провайдера отмечено, что мы не нашли в документации BroadNet ни SLA, ни страницы статуса, ни политики вывода моделей из эксплуатации.