BroadRouter

Ejen yang berjalan lama: tamat masa, cubaan semula dan checkpoint

Oleh pasukan BroadNet Inference · 4 minit bacaan · Diterbitkan · Dikemas kini

Anggap setiap panggilan model boleh dibuang dan keadaan ejen tahan lama. Tetapkan tamat masa setiap panggilan, gunakan penstriman untuk mengesan terhenti, cuba semula 429, 5xx dan strim terputus dengan backoff terhad, dan beri setiap alat yang ada kesan sampingan kunci idempotensi. Simpan senarai mesej selepas setiap langkah supaya ranap disambung semula dari checkpoint terakhir, bukan dari awal.

Ejen yang berjalan lima minit boleh mengabaikan kegagalan. Ejen yang berjalan lima jam akan berdepan tamat masa, 429, strim terputus dan mungkin mula semula. Kebanyakan panduan tentang ejen berjalan lama menjual enjin aliran kerja. Anda mungkin tidak memerlukannya. Catatan ini membincangkan lima tabiat yang memastikan gelung ejen biasa terus hidup berjam-jam, dengan kod untuk OpenAI Python SDK.

Apakah yang rosak apabila ejen berjalan berjam-jam?

Kegagalan Rupanya Tabiat yang mengendalikannya
Panggilan tergantung atau perlahan Tiada jawapan selama beberapa minit Tamat masa setiap panggilan, penstriman
Had kadar atau beban lampau 429, 5xx Cubaan semula terhad dengan backoff
Strim terputus Sambungan berakhir sebelum [DONE] Anggap tidak lengkap, cuba semula panggilan
Kesan sampingan berganda Alat berjalan dua kali selepas cubaan semula Kunci idempotensi
Proses ranap atau deploy Ejen bermula semula pada langkah 1 Checkpoint setiap langkah

1. Berapa lama panggilan patut dibenarkan mengambil masa?

README OpenAI Python SDK menyatakan permintaan tamat masa selepas 10 minit secara lalai dan ralat tertentu dicuba semula dua kali. Untuk ejen, tetapkan kedua-duanya sendiri, supaya tingkah laku tidak berubah tanpa anda sedari:

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"],
                timeout=300, max_retries=4)

Pilih tamat masa berdasarkan data. Log tempoh setiap panggilan selama sehari; tetapkan tamat masa jauh di atas panggilan berjaya yang paling perlahan. Prompt besar mengambil masa lebih lama untuk bermula, dan model penaakulan berfikir sebelum menulis. Pada kira-kira 100 token sesaat, 8,000 token output sahaja mengambil masa lebih seminit. Tambah bajet masa jam dinding berasingan bagi setiap tugas supaya gelung yang tidak berhenti tidak berjalan sepanjang malam.

2. Mengapakah perlu penstriman dalam ejen berjalan lama?

Penstriman memberi anda isyarat semasa model bekerja. Tanpanya, panggilan perlahan dan sambungan mati kelihatan sama sehingga tamat masa tercetus. Dengannya, anda boleh melihat cebisan tiba dan juga mendapat penggunaan token dalam cebisan terakhir.

Peraturan penstriman BroadNet: baca sehingga baris literal data: [DONE]. Jika sambungan ditutup sebelum itu, jawapan tidak lengkap. Rekodkan X-Request-ID, kemudian putuskan sama ada hendak membuat permintaan baharu. Panduan penuh penstriman.

def call_streaming(messages, tools=None):
    parts, done = [], False
    stream = client.chat.completions.create(
        model="broadnet/glm-5.3", messages=messages, tools=tools, stream=True,
        stream_options={"include_usage": True}, max_tokens=8000)
    for chunk in stream:
        if chunk.choices and chunk.choices[0].finish_reason:
            done = True
        if chunk.choices and chunk.choices[0].delta.content:
            parts.append(chunk.choices[0].delta.content)
    if not done:
        raise IncompleteStream()   # retry the whole call
    return "".join(parts)

Lakaran ini hanya mengumpul teks. Jika anda menstrim panggilan alat, kumpul juga delta.tool_calls mengikut indeks.

3. Apakah yang patut anda cuba semula?

SDK sudah mencuba semula ralat sambungan, 408, 409, 429 dan 5xx. Tambah cubaan semula anda sendiri di atasnya hanya untuk apa yang tidak dapat dilihatnya, seperti strim yang tidak lengkap:

  1. Cuba semula: ralat sambungan, 429, 5xx, strim tidak lengkap. Gunakan backoff eksponen dengan jitter dan had, contohnya 4 percubaan.
  2. Baiki, jangan cuba semula: 400, 401, 402, 403, 413, 422. Ini gagal dengan cara yang sama setiap kali. Lihat kod ralat dan bila perlu mencuba semula.
  3. Bajetkan cubaan semula setiap tugas, bukan hanya setiap panggilan. Sepuluh langkah yang masing-masing mencuba semula empat kali ialah empat puluh panggilan tambahan.
  4. Failover apabila cubaan semula habis. Jika larian mesti bertahan semasa gangguan penyedia, pindahkan ralat sambungan, 5xx dan 429 had kadar ke penyedia kedua. Failover API LLM menunjukkan kod klien dan pemutus litar.

Pada bayar ikut guna, setiap cubaan semula ialah inferens baharu, dibilkan sekali lagi. Kunci bayar ikut guna juga membenarkan 30 permintaan seminit dan 4 serentak, jadi ribut cubaan semula cepat mencecah had kadar; kalkulator had kadar menunjukkan berapa banyak ruang yang ejen anda ada. Catatan pengendalian 429 membincangkan backoff dengan terperinci. Pada pelan tanpa had, cubaan semula tidak berkos tambahan, tetapi ia menduduki satu-satunya slot permintaan sesi semasa berjalan.

4. Bagaimanakah anda menjadikan panggilan alat idempoten?

Panggilan model tiada kesan sampingan. Panggilan alat boleh ada. Jika ejen ranap selepas send_invoice berjalan tetapi sebelum langkah disimpan, ejen yang dimulakan semula akan menghantarnya lagi.

Beri setiap panggilan yang ada kesan sampingan kunci idempotensi yang diterbitkan daripada tugas dan langkah, semak sebelum bertindak, dan langkau panggilan jika ia sudah direkodkan:

def run_side_effect(task_id, step, call, store):
    key = f"{task_id}:{step}:{call.id}"
    if store.done(key):
        return store.result(key)       # already ran: return the saved result
    result = execute(call)             # pass key to the API if it supports one
    store.save(key, result)
    return result

Banyak API pembayaran dan pemesejan menerima pengepala kunci idempotensi. Hantar kunci anda apabila ia diterima.

5. Bagaimanakah anda membuat checkpoint ejen?

Simpan selepas setiap langkah yang selesai: senarai mesej, nombor langkah dan kunci kesan sampingan. Semasa bermula, muatkan checkpoint terkini jika ada.

def save_checkpoint(path, step, messages):
    tmp = path + ".tmp"
    with open(tmp, "w") as f:
        json.dump({"step": step, "messages": messages}, f)
    os.replace(tmp, path)   # atomic on the same filesystem

Menulis ke fail sementara dan menamakannya semula bermakna ranap di tengah penulisan tidak pernah meninggalkan checkpoint separuh. Untuk sesi yang sangat panjang, buat checkpoint ringkasan juga: gantikan giliran lama dengan ringkasan pendek supaya ejen yang disambung semula tidak memuatkan semula sejarah yang besar. Itu memastikan anda kekal dalam tetingkap konteks, walaupun pada 1,048,576 token pada DeepSeek V4.1 Flash.

Senarai semak sebelum larian semalaman

  1. Tamat masa dan max_retries ditetapkan secara eksplisit pada klien.
  2. Penstriman dihidupkan, dengan include_usage, dan strim tidak lengkap dicuba semula.
  3. Bajet cubaan semula setiap tugas dan had masa jam dinding.
  4. Kunci idempotensi pada setiap alat yang menulis, menghantar atau membayar.
  5. Checkpoint selepas setiap langkah, ditulis secara atomik.
  6. Log dengan nombor langkah, tempoh, token dan X-Request-ID.

Jika anda menjalankan beberapa ejen serentak, baca menjalankan ejen pengekodan selari pada kadar tetap dan kos persediaan berbilang ejen.

Di manakah BroadNet Inference sesuai

BroadNet Inference menggunakan penstriman chat-completions standard, memulangkan pengepala X-Request-ID yang boleh anda log, dan mendokumenkan ralat mana yang perlu dicuba semula, jadi corak di atas berfungsi seperti yang ditulis. Untuk ejen yang berjalan sepanjang hari, pelan tanpa had membuang meter token pada DeepSeek V4.1 Flash dengan $60 sebulan bagi setiap sesi, yang menjadikan cubaan semula percuma. Ingat bahawa satu jam Meteor tamat sejam selepas pembelian dan seminggu Orbit selepas tujuh hari, jadi tugas yang panjang mesti selesai dalam tempoh itu atau beralih ke sesi Full Moon yang diperbaharui. Pelan ada di inference.broadnet.ai/plans.

Soalan lazim

Apakah tamat masa yang patut saya tetapkan untuk panggilan API LLM dalam ejen?

Cukup panjang untuk panggilan sah yang paling perlahan, cukup pendek untuk menangkap yang tergantung. Lalai OpenAI Python SDK ialah 10 minit. Banyak ejen menggunakan 2 hingga 5 minit setiap panggilan dengan penstriman, dan had masa jam dinding berasingan bagi setiap tugas.

Ralat API LLM manakah yang patut dicuba semula oleh ejen?

Cuba semula ralat sambungan, 429 dan 5xx dengan backoff eksponen terhad dan jitter. Baiki 400, 401, 402, 403, 413 dan 422 dan bukannya mencuba semula. Pada BroadNet, log juga pengepala X-Request-ID bagi setiap kegagalan.

Adakah selamat mencuba semula chat completion?

Panggilan model itu sendiri tiada kesan sampingan, jadi ya, tetapi ia inferens baharu dan dibilkan sekali lagi pada bayar ikut guna. Bahayanya pada alat. Langkah yang dicuba semula boleh menghantar e-mel dua kali melainkan alat itu menggunakan kunci idempotensi.

Bagaimanakah saya menyambung semula ejen selepas ranap?

Simpan senarai mesej dan nombor langkah selepas setiap langkah yang selesai, tulis ID kesan sampingan sebelum bertindak, dan muatkannya semula semasa bermula. Ejen akan menyambung dari langkah terakhir yang disimpan.

Adakah ejen yang berjalan lama memerlukan pelan tanpa had?

Tidak, tetapi cubaan semula dan konteks panjang bertambah pada bayar ikut guna. Pada pelan tanpa had BroadNet, DeepSeek V4.1 Flash tiada meter token, jadi cubaan semula tidak berkos tambahan, walaupun setiap sesi masih menjalankan satu permintaan pada satu masa.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity