Puwedeng balewalain ng agent na limang minuto lang tumatakbo ang mga failure. Ang agent na limang oras tumatakbo ay makakaranas ng timeout, 429, naputol na stream at malamang ng restart. Karamihan ng gabay tungkol sa long-running agent ay nagbebenta ng workflow engine. Baka hindi mo iyon kailangan. Tinatalakay ng post na ito ang limang gawi na nagpapanatiling buhay sa isang simpleng agent loop nang ilang oras, na may code para sa OpenAI Python SDK.
Ano ang nasisira kapag ilang oras tumatakbo ang agent?
| Failure | Itsura nito | Gawing humahawak dito |
|---|---|---|
| Na-hang o mabagal na call | Walang sagot nang ilang minuto | Timeout kada call, streaming |
| Rate limit o overload | 429, 5xx | Limitadong retry na may backoff |
| Naputol na stream | Natapos ang koneksyon bago ang [DONE] |
Ituring na hindi kumpleto, i-retry ang call |
| Dobleng side effect | Dalawang beses tumakbo ang tool pagkatapos ng retry | Idempotency key |
| Nag-crash ang process o nag-deploy | Bumalik sa step 1 ang agent | Checkpoint kada step |
1. Gaano katagal dapat payagang tumakbo ang isang call?
Sinasabi ng README ng OpenAI Python SDK na sa default, nagta-timeout ang mga request pagkalipas ng 10 minuto at nire-retry nang dalawang beses ang ilang error. Para sa agent, ikaw mismo ang magtakda ng dalawa, para hindi magbago ang kilos nang hindi mo alam:
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"],
timeout=300, max_retries=4)
Piliin ang timeout batay sa data. I-log ang tagal ng bawat call nang isang araw; itakda ang timeout nang mas mataas nang husto kaysa sa pinakamabagal na matagumpay na call. Mas matagal magsimula ang malalaking prompt, at nag-iisip muna ang mga reasoning model bago magsulat. Sa mga 100 token bawat segundo, mahigit isang minuto na ang 8,000 output token nang mag-isa. Magdagdag ng hiwalay na wall-clock budget kada task para hindi tumakbo buong gabi ang loop na hindi tumitigil.
2. Bakit mag-stream sa matagal na tumatakbong agent?
Binibigyan ka ng streaming ng signal habang nagtatrabaho ang model. Kung wala ito, magkamukha ang mabagal na call at patay na koneksyon hanggang mag-fire ang timeout. Kapag mayroon, nakikita mong dumarating ang mga chunk at nakukuha mo rin ang token usage sa huling chunk.
Mga patakaran ng BroadNet sa streaming: magbasa hanggang sa literal na linyang data: [DONE]. Kung magsara ang koneksyon bago iyon, hindi kumpleto ang sagot. I-record ang X-Request-ID, saka magpasya kung gagawa ng bagong request. Buong gabay sa streaming.
def call_streaming(messages, tools=None):
parts, done = [], False
stream = client.chat.completions.create(
model="broadnet/glm-5.3", messages=messages, tools=tools, stream=True,
stream_options={"include_usage": True}, max_tokens=8000)
for chunk in stream:
if chunk.choices and chunk.choices[0].finish_reason:
done = True
if chunk.choices and chunk.choices[0].delta.content:
parts.append(chunk.choices[0].delta.content)
if not done:
raise IncompleteStream() # retry the whole call
return "".join(parts)
Text lang ang kinokolekta ng sketch na ito. Kung nag-i-stream ka ng mga tool call, ipunin din ang delta.tool_calls ayon sa index.
3. Ano ang dapat i-retry?
Nire-retry na ng SDK ang connection error, 408, 409, 429 at 5xx. Magpatong lang ng sarili mong retry para sa hindi nito nakikita, gaya ng hindi kumpletong stream:
- I-retry: connection error, 429, 5xx, hindi kumpletong stream. Gumamit ng exponential backoff na may jitter at limit, halimbawa 4 na attempt.
- Ayusin, huwag i-retry: 400, 401, 402, 403, 413, 422. Pareho ang pagbagsak ng mga ito sa bawat pagkakataon. Tingnan ang mga error code at kailan magre-retry.
- Mag-budget ng retry kada task, hindi lang kada call. Ang sampung step na tig-apat na retry ay apatnapung dagdag na call.
- Mag-failover kapag ubos na ang retry. Kung kailangang malampasan ng run ang outage ng provider, ilipat sa pangalawang provider ang connection error, 5xx at rate-limit na 429. Ipinapakita ng LLM API failover ang client code at isang circuit breaker.
Sa pay-as-you-go, bagong inference ang bawat retry, at sinisingil ulit. Pinapayagan din ng pay-as-you-go na key ang 30 request kada minuto at 4 na sabay na tumatakbo, kaya mabilis tumama sa rate limit ang sunod-sunod na retry; ipinapakita ng rate limit calculator kung gaano kalaki ang palugit ng agent mo. Detalyadong tinatalakay ng post tungkol sa paghawak ng 429 ang backoff. Sa unlimited plan, walang dagdag na gastos ang retry, pero inookupa nito ang iisang request slot ng session habang tumatakbo.
4. Paano gawing idempotent ang mga tool call?
Walang side effect ang model call. Ang tool call, puwedeng mayroon. Kung nag-crash ang agent pagkatapos tumakbo ng send_invoice pero bago na-save ang step, ipapadala ulit ito ng na-restart na agent.
Bigyan ang bawat call na may side effect ng idempotency key na hinango sa task at step, tingnan ito bago kumilos, at laktawan ang call kung naka-record na ito:
def run_side_effect(task_id, step, call, store):
key = f"{task_id}:{step}:{call.id}"
if store.done(key):
return store.result(key) # already ran: return the saved result
result = execute(call) # pass key to the API if it supports one
store.save(key, result)
return result
Maraming payment at messaging API ang tumatanggap ng idempotency key header. Ipasa ang sa iyo kapag tumatanggap sila.
5. Paano mag-checkpoint ng agent?
Mag-save pagkatapos ng bawat natapos na step: ang message list, ang numero ng step at ang mga side-effect key. Pag-start, i-load ang pinakabagong checkpoint kung mayroon.
def save_checkpoint(path, step, messages):
tmp = path + ".tmp"
with open(tmp, "w") as f:
json.dump({"step": step, "messages": messages}, f)
os.replace(tmp, path) # atomic on the same filesystem
Dahil sumusulat muna sa temp file at saka nire-rename, hindi kailanman maiiwan ang kalahating checkpoint kahit mag-crash sa gitna ng pagsulat. Para sa napakahabang session, mag-checkpoint din ng buod: palitan ng maikling buod ang mga lumang turn para hindi mag-load ulit ng napakalaking history ang ipinagpatuloy na agent. Pinapanatili ka nito sa loob ng context window, kahit sa 1,048,576 token ng DeepSeek V4.1 Flash.
Checklist bago ang magdamagang run
- Tahasang nakatakda sa client ang timeout at
max_retries. - Naka-on ang streaming, na may
include_usage, at nire-retry ang hindi kumpletong stream. - Retry budget kada task at wall-clock limit.
- Idempotency key sa bawat tool na sumusulat, nagpapadala o nagbabayad.
- Checkpoint pagkatapos ng bawat step, na atomic ang pagsulat.
- Mga log na may numero ng step, tagal, token at
X-Request-ID.
Kung nagpapatakbo ka ng ilang agent nang magkakatabi, basahin ang pagpapatakbo ng sabay-sabay na coding agent sa flat rate at magkano ang multi-agent na setup.
Saan pumapasok ang BroadNet Inference
Gumagamit ang BroadNet Inference ng standard na chat-completions streaming, nagbabalik ng header na X-Request-ID na puwede mong i-log, at dinodokumento kung aling mga error ang ire-retry, kaya gumagana ang mga pattern sa itaas gaya ng pagkakasulat. Para sa mga agent na buong araw tumatakbo, inaalis ng mga unlimited plan ang token meter sa DeepSeek V4.1 Flash sa halagang $60 kada buwan kada session, kaya libre ang retry. Tandaan na natatapos ang Meteor hour isang oras pagkatapos bilhin at ang Orbit week pagkalipas ng pitong araw, kaya kailangang matapos ang mahabang job sa loob ng panahong iyon o lumipat sa nagre-renew na Full Moon session. Nasa inference.broadnet.ai/plans ang mga plan.
