BroadRouter

Uzun süren ajanlar: zaman aşımı, yeniden deneme ve kontrol noktası

BroadNet Inference ekibi · 4 dk okuma · Yayımlandı · Güncellendi

Her model çağrısını gözden çıkarılabilir, ajanın durumunu kalıcı sayın. Çağrı başına zaman aşımı koyun, takılmaları görmek için akış kullanın, 429, 5xx ve kopan akışları sınırlı geri çekilmeyle yeniden deneyin ve yan etkisi olan her araca bir idempotency anahtarı verin. Mesaj listesini her adımdan sonra kaydedin; çökme olursa ajan baştan değil, son kontrol noktasından devam eder.

Beş dakika çalışan bir ajan hataları görmezden gelebilir. Beş saat çalışan bir ajan ise bir zaman aşımı, bir 429, kopan bir akış ve büyük olasılıkla bir yeniden başlatma görecektir. Uzun süren ajanlar üzerine rehberlerin çoğu bir iş akışı motoru satar. Belki buna ihtiyacınız yoktur. Bu yazı, sade bir ajan döngüsünü saatlerce ayakta tutan beş alışkanlığı OpenAI Python SDK koduyla anlatıyor.

Bir ajan saatlerce çalışınca ne bozulur?

Hata Nasıl görünür Bunu karşılayan alışkanlık
Takılan veya yavaş çağrı Dakikalarca yanıt yok Çağrı başına zaman aşımı, akış
Hız sınırı veya aşırı yük 429, 5xx Geri çekilmeli, sınırlı yeniden deneme
Kopan akış Bağlantı [DONE] gelmeden kapanır Eksik sayın, çağrıyı yeniden deneyin
Yinelenen yan etki Yeniden denemeden sonra araç iki kez çalışır Idempotency anahtarları
Süreç çökmesi veya dağıtım Ajan 1. adımdan yeniden başlar Her adımda kontrol noktası

1. Bir çağrının ne kadar sürmesine izin verilmeli?

OpenAI Python SDK’nın README dosyası, isteklerin varsayılan olarak 10 dakika sonra zaman aşımına uğradığını ve belirli hataların iki kez yeniden denendiğini söylüyor. Bir ajanda davranışın siz farkında olmadan değişmemesi için ikisini de kendiniz ayarlayın:

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"],
                timeout=300, max_retries=4)

Zaman aşımını veriye bakarak seçin. Bir gün boyunca her çağrının süresini günlüğe yazın; zaman aşımını en yavaş başarılı çağrının epey üstüne koyun. Büyük istemlerin başlaması daha uzun sürer, akıl yürütme modelleri de yazmadan önce düşünür. saniyede yaklaşık 100 token hızda 8.000 çıktı token’ı tek başına bir dakikadan fazla sürer. Durmadan devam eden bir döngünün bütün gece çalışmaması için her görev başına ayrı bir duvar saati bütçesi ekleyin.

2. Uzun süren bir ajanda neden akış kullanılır?

Akış (streaming), model çalışırken size bir sinyal verir. Akış olmadan yavaş bir çağrıyla ölü bir bağlantı, zaman aşımı tetiklenene kadar aynı görünür. Akışla parçaların geldiğini görürsünüz ve token kullanımını da son parçada alırsınız.

BroadNet’in akış kuralları: birebir data: [DONE] satırına kadar okuyun. Bağlantı bundan önce kapanırsa yanıt eksiktir. X-Request-ID değerini kaydedin, sonra yeni bir istek yapıp yapmayacağınıza karar verin. Akış rehberinin tamamı.

def call_streaming(messages, tools=None):
    parts, done = [], False
    stream = client.chat.completions.create(
        model="broadnet/glm-5.3", messages=messages, tools=tools, stream=True,
        stream_options={"include_usage": True}, max_tokens=8000)
    for chunk in stream:
        if chunk.choices and chunk.choices[0].finish_reason:
            done = True
        if chunk.choices and chunk.choices[0].delta.content:
            parts.append(chunk.choices[0].delta.content)
    if not done:
        raise IncompleteStream()   # retry the whole call
    return "".join(parts)

Bu taslak yalnızca metni topluyor. Araç çağrılarını da akışla alıyorsanız delta.tool_calls değerlerini de indekse göre biriktirin.

3. Neyi yeniden denemelisiniz?

SDK bağlantı hatalarını, 408, 409, 429 ve 5xx yanıtlarını zaten yeniden dener. Kendi yeniden deneme katmanınızı yalnızca SDK’nın göremediği durumlar, örneğin eksik bir akış için ekleyin:

  1. Yeniden deneyin: bağlantı hataları, 429, 5xx, eksik akışlar. Rastgele sapma (jitter) ve üst sınır içeren üstel geri çekilme kullanın; örneğin 4 deneme.
  2. Yeniden denemeyin, düzeltin: 400, 401, 402, 403, 413, 422. Bunlar her seferinde aynı şekilde başarısız olur. Bkz. hata kodları ve ne zaman yeniden denenir.
  3. Yeniden denemeler için yalnızca çağrı başına değil, görev başına bütçe koyun. Her biri dört kez yeniden denenen on adım, kırk ek çağrı demektir.
  4. Yeniden denemeler tükenince yedeğe geçin. Bir çalıştırmanın sağlayıcı kesintisini atlatması gerekiyorsa bağlantı hatalarını, 5xx yanıtlarını ve hız sınırı 429’larını ikinci bir sağlayıcıya yönlendirin. LLM API yedekleme yazısı istemci kodunu ve bir devre kesiciyi gösteriyor.

Kullandıkça öde modelinde her yeniden deneme yeni bir çıkarımdır ve yeniden faturalanır. Kullandıkça öde anahtarı ayrıca dakikada 30 isteğe ve aynı anda 4 uçuştaki isteğe izin verir; bu yüzden yeniden deneme fırtınaları hız sınırına çabuk takılır. Ajanınızın ne kadar payı olduğunu hız sınırı hesaplayıcısı gösteriyor. Geri çekilmeyi ayrıntılı olarak 429 yönetimi yazısı anlatıyor. Sınırsız bir planda yeniden denemeler ek ücret getirmez, ama çalıştıkları sürece oturumun tek istek yuvasını işgal eder.

4. Araç çağrılarını nasıl idempotent yaparsınız?

Bir model çağrısının yan etkisi yoktur. Bir araç çağrısının olabilir. Ajan, send_invoice çalıştıktan sonra ama adım kaydedilmeden önce çökerse yeniden başlayan ajan faturayı tekrar gönderir.

Yan etkisi olan her çağrıya görevden ve adımdan türetilmiş bir idempotency anahtarı verin, harekete geçmeden önce kontrol edin ve zaten kaydedilmişse çağrıyı atlayın:

def run_side_effect(task_id, step, call, store):
    key = f"{task_id}:{step}:{call.id}"
    if store.done(key):
        return store.result(key)       # already ran: return the saved result
    result = execute(call)             # pass key to the API if it supports one
    store.save(key, result)
    return result

Birçok ödeme ve mesajlaşma API’si bir idempotency anahtarı başlığı kabul eder. Kabul ettiklerinde kendi anahtarınızı onlara iletin.

5. Bir ajan için nasıl kontrol noktası alırsınız?

Tamamlanan her adımdan sonra kaydedin: mesaj listesi, adım numarası ve yan etki anahtarları. Başlangıçta varsa en son kontrol noktasını yükleyin.

def save_checkpoint(path, step, messages):
    tmp = path + ".tmp"
    with open(tmp, "w") as f:
        json.dump({"step": step, "messages": messages}, f)
    os.replace(tmp, path)   # atomic on the same filesystem

Önce geçici bir dosyaya yazıp sonra yeniden adlandırmak, yazma ortasındaki bir çökmenin asla yarım bir kontrol noktası bırakmaması demektir. Çok uzun oturumlarda bir özet de kaydedin: eski turları kısa bir özetle değiştirin ki devam eden ajan devasa bir geçmişi yeniden yüklemesin. Bu, DeepSeek V4.1 Flash üzerindeki 1.048.576 token’lık bağlam penceresinde bile sınır içinde kalmanızı sağlar.

Gece boyu bir çalıştırmadan önce kontrol listesi

  1. İstemcide zaman aşımı ve max_retries açıkça ayarlanmış.
  2. Akış açık, include_usage ile birlikte; eksik akışlar yeniden deneniyor.
  3. Görev başına bir yeniden deneme bütçesi ve duvar saati limiti.
  4. Yazan, gönderen veya ödeme yapan her araçta idempotency anahtarları.
  5. Her adımdan sonra atomik olarak yazılan bir kontrol noktası.
  6. Adım numarası, süre, token’lar ve X-Request-ID içeren günlükler.

Birden çok ajanı yan yana çalıştırıyorsanız sabit ücretle paralel kodlama ajanları çalıştırma ve çoklu ajan kurulumlarının maliyeti yazılarını okuyun.

BroadNet Inference’ın yeri

BroadNet Inference standart chat completions akışını kullanır, günlüğe yazabileceğiniz bir X-Request-ID başlığı döndürür ve hangi hataların yeniden deneneceğini belgeler; yani yukarıdaki kalıplar yazıldığı gibi çalışır. Gün boyu çalışan ajanlar için sınırsız planlar, oturum başına aylık $60 karşılığında DeepSeek V4.1 Flash’taki token sayacını kaldırır; bu da yeniden denemeleri ücretsiz yapar. Şunu unutmayın: bir Meteor saati satın almadan bir saat sonra, bir Orbit haftası yedi gün sonra biter; dolayısıyla uzun bir iş bu süre içinde bitmeli ya da yenilenen bir Full Moon oturumuna taşınmalı. Planlar inference.broadnet.ai/plans adresinde.

Sık sorulan sorular

Bir ajanda LLM API çağrıları için ne kadar zaman aşımı koymalıyım?

En yavaş meşru çağrıya yetecek kadar uzun, takılan bir çağrıyı yakalayacak kadar kısa. OpenAI Python SDK varsayılan olarak 10 dakika kullanır. Birçok ajan akışla birlikte çağrı başına 2 ila 5 dakika ve görev başına ayrı bir duvar saati limiti kullanır.

Bir ajan hangi LLM API hatalarını yeniden denemeli?

Bağlantı hatalarını, 429 ve 5xx yanıtlarını sınırlı üstel geri çekilme ve rastgele sapmayla (jitter) yeniden deneyin. 400, 401, 402, 403, 413 ve 422 hatalarını yeniden denemek yerine düzeltin. BroadNet'te ayrıca her hata için X-Request-ID başlığını günlüğe yazın.

Bir chat completion isteğini yeniden denemek güvenli mi?

Model çağrısının kendisinin yan etkisi yoktur, yani evet; ama bu yeni bir çıkarımdır ve kullandıkça öde modelinde yeniden faturalanır. Tehlike araçlardadır. Araç bir idempotency anahtarı kullanmıyorsa yeniden denenen bir adım aynı e-postayı iki kez gönderebilir.

Bir çökmeden sonra ajanı nasıl kaldığı yerden devam ettiririm?

Tamamlanan her adımdan sonra mesaj listesini ve adım numarasını kaydedin, harekete geçmeden önce yan etki kimliklerini yazın ve başlangıçta bunları yeniden yükleyin. Ajan son kaydedilen adımdan devam eder.

Uzun süren ajanlar için sınırsız plan şart mı?

Hayır, ama kullandıkça öde modelinde yeniden denemeler ve uzun bağlamlar birikir. BroadNet'in sınırsız planlarında DeepSeek V4.1 Flash için token sayacı yoktur, bu yüzden yeniden denemeler ek ücret getirmez; yine de her oturum aynı anda tek istek çalıştırır.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor