429, trafiğinizin bir hız sınırını (rate limit) aştığı anlamına gelir: dakika başına istek, uçuştaki (in-flight) istek, dakika başına token veya harcama. Çözümün iki yarısı var. İyi yeniden deneyin: üst sınırı olan, rastgele jitter eklenmiş üstel geri çekilme ve Retry-After başlığına uyma. Aynı anda daha az gönderin: anahtarın uçuştaki istek sınırına ayarlı bir semafor ve bir kuyruk. İkisi de aşağıda, koduyla birlikte.
Durum kodlarının tam listesi için hatalar ve yeniden denemeler rehberine, kontrol noktaları ve zaman aşımlarıyla saatlerce süren ajan çalıştırmaları için uzun süre çalışan ajanlar: zaman aşımları ve yeniden denemeler yazısına bakın.
429 ile 5xx arasındaki fark nedir?
| Durum | Kimin sorunu | Yeniden denenir mi? | Nasıl |
|---|---|---|---|
| 429 | Trafiğiniz bir sınırı aştı | Evet | Jitter’lı geri çekilme; Retry-After başlığına uyun; eşzamanlılığı düşürün |
| 500 / 502 / 503 / 504 | Sunucu tarafı | Evet | Sınırlı üstel geri çekilme |
| Bağlantı sıfırlandı, zaman aşımı | Ağ veya sunucu | Genellikle | Geri çekilme; akışlarda yalnızca yeni bir ücret kabul edilebilirse |
| 400 / 422 | Hatalı istek | Hayır | Gövdeyi düzeltin |
| 401 / 402 / 403 | Anahtar, bakiye veya politika | Hayır | Anahtarı düzeltin, hesaba bakiye yükleyin, izin listesini düzeltin |
| 413 | İstek çok büyük | Hayır | Küçültün |
BroadNet Inference’ta 429, dört sınırdan herhangi birine işaret edebilir: hız, eşzamanlılık, token hızı veya harcama. Harcama sınırı 30 saniyede kalkmaz. BroadNet’in belgeleri, hata gövdesinin hangi alanının sınırı belirttiğini söylemiyor; bu yüzden gövdeyi kaydedin ve anahtar ayrıntılarınızda gösterilen sınırlarla karşılaştırın.
LLM API ücretsiz katmanları ve hız sınırları açık veri setimiz, 14 sağlayıcının ücretsiz erişim, başlangıç hız sınırları, kart gereksinimi ve ücretsiz katman verileriyle eğitim hakkında yayımladıklarını, her değerin kaynağı ve tarihiyle karşılaştırır.
429 hatalarına hangi sınırlar yol açar?
Karşınızdaki sayıları bilin. BroadNet Inference’ta:
| Anahtar türü | İstek / dakika | Uçuştaki | Diğer |
|---|---|---|---|
| Kullandıkça öde | 30 | 4 | Ortak harcama bütçesi |
| Saatlik anahtar | 120 | 1 akış | 300,000 token / dakika |
| Sınırsız plan oturumu | — | Oturum başına 1 istek | Token sayacı yok |
LLM’ler için en önemli sayı uçuştaki istek sayısıdır. Akış hâlinde gelen bir yanıt, son token ulaşana kadar slotunu tutar; dolayısıyla uzun bir yanıt, model onu yazdığı sürece slotu meşgul eder (BroadNet tipik hız olarak saniyede yaklaşık 100 token veriyor). Anahtarın 4 slotundan fazla paralel çağrı gönderirseniz, o dakika yalnızca birkaç istek göndermiş olsanız bile fazladan olanlar 429 alır. Bu bir eşzamanlılık sorunudur ve tek başına geri çekilme bunu kötü yönetir. Yayına almadan önce çalışan (worker) sayısını bir sınıra göre boyutlandırmak için ücretsiz LLM hız sınırı hesaplayıcısını kullanın. Çok sayıda öğeden oluşan sabit bir iş için LLM toplu iş planlayıcısı aynı sınırları bir çalışma süresine dönüştürür. Diğer sağlayıcılar farklı sayar (dakikada token, günde istek veya uçuştaki istek); sağlayıcılara göre LLM API hız sınırları yazısı 13 sağlayıcıyı kendi belgelerinden karşılaştırır.
Jitter’lı geri çekilme nasıl yazılır?
Düz üstel geri çekilme (exponential backoff) 1, 2, 4, 8 saniye bekler. Yüz çalışan aynı anda kısıtlandıysa hepsi aynı anda geri gelir. AWS’nin birbiriyle yarışan 100 istemciyle yaptığı simülasyonda tam jitter, çağrı sayısını yarıdan fazla azalttı ve jitter’sız geri çekilmeden daha erken bitti. En basit sürüm olan tam jitter (full jitter), sıfır ile üstel üst sınır arasında rastgele bir süre bekler:
import os, random, time
from openai import OpenAI, RateLimitError, APIStatusError, APIConnectionError
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=0)
RETRYABLE = {429, 500, 502, 503, 504}
def call_with_backoff(max_attempts=6, base=1.0, cap=60.0, **kwargs):
for attempt in range(max_attempts):
try:
return client.chat.completions.create(**kwargs)
except (RateLimitError, APIStatusError, APIConnectionError) as e:
status = getattr(e, "status_code", None)
if status is not None and status not in RETRYABLE:
raise # 400, 401, 403...: retrying will not help
if attempt == max_attempts - 1:
raise
retry_after = None
if getattr(e, "response", None) is not None:
retry_after = e.response.headers.get("retry-after")
wait = random.uniform(0, min(cap, base * 2 ** attempt))
if retry_after and retry_after.isdigit():
wait = max(wait, float(retry_after))
time.sleep(wait)
max_retries=0, iki kez yeniden denememeniz için SDK’nın kendi yeniden denemelerini kapatır. SDK’nın yerleşik davranışı size yetiyorsa tersi de olur: kendi döngünüzü kullanmayın ve Python SDK rehberinde gösterildiği gibi istemcide max_retries=4 ayarlayın. Resmi Python ve Node SDK’ları bağlantı hatalarını, 408, 409, 429 ve 5xx hatalarını varsayılan olarak iki kez yeniden dener.
Retry-After, saniye veya tarih içerebilen standart bir başlıktır (RFC 9110). BroadNet’in belgeleri bu başlığı garanti etmiyor; bu yüzden kod onu isteğe bağlı kabul eder.
429 hatalarını oluşmadan nasıl önlersiniz?
Uçuştaki istekleri anahtarın sınırında tutun. Python’da bir asyncio.Semaphore bunu tek bir nesne ve tek bir async with bloğuyla yapar. Kod örnek olarak 4 kullanıyor; bunu anahtarınızın uçuştaki istek sınırına ayarlayın (BroadNet kullandıkça öde anahtarında 4):
import asyncio, os
from openai import AsyncOpenAI
client = AsyncOpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=4)
slots = asyncio.Semaphore(4) # match the key's in-flight limit
async def ask(prompt):
async with slots:
r = await client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": prompt}],
)
return r.choices[0].message.content
async def main(prompts):
return await asyncio.gather(*(ask(p) for p in prompts))
results = asyncio.run(main(["Summarise A", "Summarise B", "Summarise C"]))
gather tüm görevleri başlatır, ama aynı anda yalnızca semaforun izin verdiği kadarı çalışır. Gerisi semaforun kuyruğunda bekler. Node’da p-limit paketi aynı işi yapar; örnek değer yine 4:
// ES module (top-level await). npm install openai p-limit
import OpenAI from "openai";
import pLimit from "p-limit";
const client = new OpenAI({ baseURL: "https://inference.broadnet.ai/v1", apiKey: process.env.BROADNET_API_KEY, maxRetries: 4 });
const limit = pLimit(4); // match the key's in-flight limit
async function ask(prompt) {
const r = await client.chat.completions.create({
model: "broadnet/gemma-4-26b-a4b",
messages: [{ role: "user", content: prompt }],
});
return r.choices[0].message.content;
}
const prompts = ["Summarise A", "Summarise B", "Summarise C"];
const results = await Promise.all(prompts.map((p) => limit(() => ask(p))));
Dakika başına bir sınır da varsa, her 60 / rpm saniyede bir izin bırakan bir token kovası (token bucket) ekleyin; burada rpm, anahtarınızın dakika başına istek sınırıdır (BroadNet kullandıkça öde anahtarında 30).
Gerçek bir kuyruğa ne zaman ihtiyacınız olur?
Semafor tek bir süreç içinde yaşar. Birden fazla çalışan veya sunucu aynı anahtarı paylaştığında sınır da paylaşılır ve her süreç yalnızca kendi trafiğini görür. Bu durumda:
- İşleri ortak bir kuyruğa koyun (Redis, SQS, bir veritabanı tablosu).
- Anahtarın uçuştaki istek sınırına eşit, sabit sayıda tüketici çalıştırın.
- Her işe bir kimlik verin ve sonuçları kimliğe göre saklayın; böylece yeniden denenen bir iş iki kez çalışmaz.
- Etkileşimli trafiği ve toplu trafiği ayrı anahtarlar veya ayrı kuyruklar üzerinden gönderin; böylece biriken toplu işler, yanıt bekleyen bir kullanıcıyı asla engellemez.
Batch API olmadan binlerce öğelik bir toplu iş için kaldığı yerden devam edebilen toplu iş çalıştırıcısına bakın.
Hangi yeniden deneme hataları 429’ları kesintiye dönüştürür?
- Sınırsız yeniden denemeler. Uzun bir kesinti sırasında üst sınırı olmayan bir yeniden deneme döngüsü yükünüzü ve token başına faturalandırmada faturanızı katlar.
- Yarım kalmış bir akışı körü körüne yeniden denemek. Akış zaten token döndürdüyse yeniden deneme yeni bir çıkarımdır ve kullanıcı metni iki kez görebilir. Eksik akışları tespit etmek için akış yazısına bakın.
- Hesap hatalarını yeniden denemek. Tükenmiş bir kullandıkça öde hakkı için 401 veya yetersiz bakiye için 402 kendiliğinden düzelmez.
Her yeniden denemeyi durum koduyla, bekleme süresiyle ve BroadNet belgelerinin destek için saklamanızı istediği X-Request-ID yanıt başlığıyla kaydedin. Artan yeniden deneme oranı, daha fazla kapasiteye ihtiyacınız olduğunun en erken uyarısıdır; bunu nasıl kaydedeceğinizi kullanım kaydı yazısı gösterir.
BroadNet Inference nerede devreye giriyor
BroadNet’in sınırları yayımlanmıştır ve tasarımınızı onlara göre yapabileceğiniz kadar küçüktür: kullandıkça öde anahtarında aynı anda 4 uçuştaki istek. Bu, uygulamalara ve ajanlara uyar; tek bir anahtarda yüzlerce paralel çağrı isteyen bir toplu iş için ise fazla dardır. Ajanlar için sınırsız bir planda token sayacı yoktur ve oturum başına aynı anda tek istek çalışır; paralel iş için, paralel kodlama ajanları çalıştırma yazısında anlatıldığı gibi oturum eklersiniz. Güncel sınırlar API referansında.
