---
title: "Long-running AI agent: timeout, retry at checkpoint | BroadRouter"
description: "Paano patakbuhin nang ilang oras ang LLM agent: timeout kada call, streaming para makita ang stall, ligtas na retry, idempotent na tool at checkpoint kada step."
url: https://broadrouter.com/fil/blog/long-running-agents-timeouts-retries/
lang: fil
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/blog/long-running-agents-timeouts-retries/) (na-update noong 2026-11-16).

# Matagal na tumatakbong agent: timeout, retry at checkpoint na matibay

Ng BroadNet Inference team · 4 minutong basa · Nailathala 2026-11-14 · Na-update 2026-11-16

Ituring na disposable ang bawat model call at matibay ang state ng agent. Maglagay ng timeout kada call, mag-stream para makita ang stall, i-retry ang 429, 5xx at naputol na stream nang may limitadong backoff, at bigyan ng idempotency key ang bawat tool na may side effect. I-save ang message list pagkatapos ng bawat step para kapag nag-crash, magpapatuloy ito mula sa huling checkpoint, hindi mula sa simula.

## Mga pangunahing punto

-   Sa default, nagta-timeout ang OpenAI Python SDK pagkalipas ng 10 minuto at nagre-retry nang dalawang beses. Para sa mga agent, itakda nang tahasan ang dalawa.
-   Hindi kumpletong sagot ang stream na natapos bago ang data \[DONE\]. Bagong inference ang pag-retry dito, at sisingilin ulit sa pay-as-you-go.
-   Ligtas i-retry ang mga model call. Hindi ligtas ang side effect ng tool, maliban kung may idempotency key ito.
-   Mag-checkpoint pagkatapos ng bawat natapos na step: ang message list, ang numero ng step at ang ID ng mga natapos nang side effect.
-   Sa plan session, walang dagdag na gastos ang retry pero inookupa nito ang iisang request slot habang tumatakbo.

**Sa page na ito**

1.  Ano ang nasisira kapag ilang oras tumatakbo ang agent?
2.  1\. Gaano katagal dapat payagang tumakbo ang isang call?
3.  2\. Bakit mag-stream sa matagal na tumatakbong agent?
4.  3\. Ano ang dapat i-retry?
5.  4\. Paano gawing idempotent ang mga tool call?
6.  5\. Paano mag-checkpoint ng agent?
7.  Checklist bago ang magdamagang run
8.  Saan pumapasok ang BroadNet Inference

Puwedeng balewalain ng agent na limang minuto lang tumatakbo ang mga failure. Ang agent na limang oras tumatakbo ay makakaranas ng timeout, 429, naputol na stream at malamang ng restart. Karamihan ng gabay tungkol sa long-running agent ay nagbebenta ng workflow engine. Baka hindi mo iyon kailangan. Tinatalakay ng post na ito ang limang gawi na nagpapanatiling buhay sa isang simpleng agent loop nang ilang oras, na may code para sa OpenAI Python SDK.

## Ano ang nasisira kapag ilang oras tumatakbo ang agent?

| Failure | Itsura nito | Gawing humahawak dito |
| --- | --- | --- |
| Na-hang o mabagal na call | Walang sagot nang ilang minuto | Timeout kada call, streaming |
| Rate limit o overload | 429, 5xx | Limitadong retry na may backoff |
| Naputol na stream | Natapos ang koneksyon bago ang `[DONE]` | Ituring na hindi kumpleto, i-retry ang call |
| Dobleng side effect | Dalawang beses tumakbo ang tool pagkatapos ng retry | Idempotency key |
| Nag-crash ang process o nag-deploy | Bumalik sa step 1 ang agent | Checkpoint kada step |

## 1\. Gaano katagal dapat payagang tumakbo ang isang call?

Sinasabi ng README ng OpenAI Python SDK na sa default, nagta-timeout ang mga request pagkalipas ng 10 minuto at nire-retry nang dalawang beses ang ilang error. Para sa agent, ikaw mismo ang magtakda ng dalawa, para hindi magbago ang kilos nang hindi mo alam:

```python
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"],
                timeout=300, max_retries=4)
```

Piliin ang timeout batay sa data. I-log ang tagal ng bawat call nang isang araw; itakda ang timeout nang mas mataas nang husto kaysa sa pinakamabagal na matagumpay na call. Mas matagal magsimula ang malalaking prompt, at nag-iisip muna ang mga [reasoning model](https://broadrouter.com/fil/glossary/reasoning-tokens/) bago magsulat. Sa mga 100 token bawat segundo, mahigit isang minuto na ang 8,000 output token nang mag-isa. Magdagdag ng hiwalay na wall-clock budget kada **task** para hindi tumakbo buong gabi ang loop na hindi tumitigil.

## 2\. Bakit mag-stream sa matagal na tumatakbong agent?

Binibigyan ka ng [streaming](https://broadrouter.com/fil/glossary/streaming/) ng signal habang nagtatrabaho ang model. Kung wala ito, magkamukha ang mabagal na call at patay na koneksyon hanggang mag-fire ang timeout. Kapag mayroon, nakikita mong dumarating ang mga chunk at nakukuha mo rin ang token usage sa huling chunk.

Mga patakaran ng BroadNet sa streaming: magbasa hanggang sa literal na linyang `data: [DONE]`. Kung magsara ang koneksyon bago iyon, hindi kumpleto ang sagot. I-record ang `X-Request-ID`, saka magpasya kung gagawa ng bagong request. [Buong gabay sa streaming](https://broadrouter.com/fil/guides/streaming-chat-completions/).

```python
def call_streaming(messages, tools=None):
    parts, done = [], False
    stream = client.chat.completions.create(
        model="broadnet/glm-5.3", messages=messages, tools=tools, stream=True,
        stream_options={"include_usage": True}, max_tokens=8000)
    for chunk in stream:
        if chunk.choices and chunk.choices[0].finish_reason:
            done = True
        if chunk.choices and chunk.choices[0].delta.content:
            parts.append(chunk.choices[0].delta.content)
    if not done:
        raise IncompleteStream()   # retry the whole call
    return "".join(parts)
```

Text lang ang kinokolekta ng sketch na ito. Kung nag-i-stream ka ng mga tool call, ipunin din ang `delta.tool_calls` ayon sa index.

## 3\. Ano ang dapat i-retry?

Nire-retry na ng SDK ang connection error, 408, 409, 429 at 5xx. Magpatong lang ng sarili mong retry para sa hindi nito nakikita, gaya ng hindi kumpletong stream:

1.  **I-retry:** connection error, 429, 5xx, hindi kumpletong stream. Gumamit ng [exponential backoff](https://broadrouter.com/fil/glossary/exponential-backoff/) na may jitter at limit, halimbawa 4 na attempt.
2.  **Ayusin, huwag i-retry:** 400, 401, 402, 403, 413, 422. Pareho ang pagbagsak ng mga ito sa bawat pagkakataon. Tingnan ang [mga error code at kailan magre-retry](https://broadrouter.com/fil/guides/errors-and-retries/).
3.  **Mag-budget ng retry kada task**, hindi lang kada call. Ang sampung step na tig-apat na retry ay apatnapung dagdag na call.
4.  **Mag-failover kapag ubos na ang retry.** Kung kailangang malampasan ng run ang outage ng provider, ilipat sa pangalawang provider ang connection error, 5xx at rate-limit na 429. Ipinapakita ng [LLM API failover](https://broadrouter.com/fil/blog/llm-api-failover-fallback/) ang client code at isang circuit breaker.

Sa pay-as-you-go, bagong inference ang bawat retry, at sinisingil ulit. Pinapayagan din ng pay-as-you-go na key ang 30 request kada minuto at 4 na sabay na tumatakbo, kaya mabilis tumama sa [rate limit](https://broadrouter.com/fil/glossary/rate-limit/) ang sunod-sunod na retry; ipinapakita ng [rate limit calculator](https://broadrouter.com/tools/llm-rate-limit-calculator/) kung gaano kalaki ang palugit ng agent mo. Detalyadong tinatalakay ng [post tungkol sa paghawak ng 429](https://broadrouter.com/fil/blog/handle-llm-api-429-rate-limits/) ang backoff. Sa [unlimited plan](https://broadrouter.com/fil/guides/unlimited-llm-api-sessions/), walang dagdag na gastos ang retry, pero inookupa nito ang iisang request slot ng session habang tumatakbo.

## 4\. Paano gawing idempotent ang mga tool call?

Walang side effect ang model call. Ang tool call, puwedeng mayroon. Kung nag-crash ang agent pagkatapos tumakbo ng `send_invoice` pero bago na-save ang step, ipapadala ulit ito ng na-restart na agent.

Bigyan ang bawat call na may side effect ng [idempotency key](https://broadrouter.com/fil/glossary/idempotency-key/) na hinango sa task at step, tingnan ito bago kumilos, at laktawan ang call kung naka-record na ito:

```python
def run_side_effect(task_id, step, call, store):
    key = f"{task_id}:{step}:{call.id}"
    if store.done(key):
        return store.result(key)       # already ran: return the saved result
    result = execute(call)             # pass key to the API if it supports one
    store.save(key, result)
    return result
```

Maraming payment at messaging API ang tumatanggap ng idempotency key header. Ipasa ang sa iyo kapag tumatanggap sila.

## 5\. Paano mag-checkpoint ng agent?

Mag-save pagkatapos ng bawat natapos na step: ang message list, ang numero ng step at ang mga side-effect key. Pag-start, i-load ang pinakabagong checkpoint kung mayroon.

```python
def save_checkpoint(path, step, messages):
    tmp = path + ".tmp"
    with open(tmp, "w") as f:
        json.dump({"step": step, "messages": messages}, f)
    os.replace(tmp, path)   # atomic on the same filesystem
```

Dahil sumusulat muna sa temp file at saka nire-rename, hindi kailanman maiiwan ang kalahating checkpoint kahit mag-crash sa gitna ng pagsulat. Para sa napakahabang session, mag-checkpoint din ng **buod**: palitan ng maikling buod ang mga lumang turn para hindi mag-load ulit ng napakalaking history ang ipinagpatuloy na agent. Pinapanatili ka nito sa loob ng [context window](https://broadrouter.com/fil/glossary/context-window/), kahit sa 1,048,576 token ng [DeepSeek V4.1 Flash](https://broadrouter.com/fil/models/deepseek-v4.1-flash/).

## Checklist bago ang magdamagang run

1.  Tahasang nakatakda sa client ang timeout at `max_retries`.
2.  Naka-on ang streaming, na may `include_usage`, at nire-retry ang hindi kumpletong stream.
3.  Retry budget kada task at wall-clock limit.
4.  Idempotency key sa bawat tool na sumusulat, nagpapadala o nagbabayad.
5.  Checkpoint pagkatapos ng bawat step, na atomic ang pagsulat.
6.  Mga log na may numero ng step, tagal, token at `X-Request-ID`.

Kung nagpapatakbo ka ng ilang agent nang magkakatabi, basahin ang [pagpapatakbo ng sabay-sabay na coding agent sa flat rate](https://broadrouter.com/fil/blog/run-parallel-coding-agents-flat-rate/) at [magkano ang multi-agent na setup](https://broadrouter.com/fil/blog/multi-agent-cost/).

## Saan pumapasok ang BroadNet Inference

Gumagamit ang BroadNet Inference ng standard na chat-completions streaming, nagbabalik ng header na `X-Request-ID` na puwede mong i-log, at dinodokumento kung aling mga error ang ire-retry, kaya gumagana ang mga pattern sa itaas gaya ng pagkakasulat. Para sa mga agent na buong araw tumatakbo, inaalis ng mga unlimited plan ang token meter sa DeepSeek V4.1 Flash sa halagang $60 kada buwan kada session, kaya libre ang retry. Tandaan na natatapos ang Meteor hour isang oras pagkatapos bilhin at ang Orbit week pagkalipas ng pitong araw, kaya kailangang matapos ang mahabang job sa loob ng panahong iyon o lumipat sa nagre-renew na Full Moon session. Nasa [inference.broadnet.ai/plans](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-long-running-agents-timeouts-retries&utm_content=body) ang mga plan.

Mga libreng tool para rito (Ingles)

-   [Agent run cost estimator](https://broadrouter.com/tools/agent-run-cost-estimator/) Context growth per step, total tokens and cost of one agent run, with a DeepSeek session comparison.
-   [LLM batch job planner](https://broadrouter.com/tools/llm-batch-job-planner/) Run time, binding limit, cost per model and the flat sessions needed to finish a big job by a deadline.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [LLM rate limit and concurrency calculator](https://broadrouter.com/tools/llm-rate-limit-calculator/) Which limit binds first: RPM, TPM or concurrency, with Little's law.

[Libreng tools (Ingles)](https://broadrouter.com/tools/)

## Mga termino sa artikulong ito

[AI agent](https://broadrouter.com/fil/glossary/agent/)

Ang AI agent ay isang system kung saan ang language model mismo ang nagdidirekta ng mga hakbang nito tungo sa isang layunin: pinipili nito kung aling tools ang tatawagin, binabasa ang mga resulta at umuulit hanggang makabuo ng huling sagot o maabot ang limit. Workflow naman ang karaniwang tawag sa fixed na script na tumatawag sa model sa takdang punto.

[Streaming](https://broadrouter.com/fil/glossary/streaming/)

Ang streaming ay paraan ng pagbabalik ng sagot ng language model nang paunti-unting chunk habang binubuo pa ito, sa halip na iisang sagot sa dulo. Sa mga OpenAI-compatible na API, dumadaan ang streaming sa server-sent events kapag naka-set sa true ang stream sa request.

[API key](https://broadrouter.com/fil/glossary/api-key/)

Ang API key ay isang lihim na string na kumikilala at nagpapahintulot sa client na tumatawag sa isang API. Kadalasang hinihingi ito ng mga LLM API sa Authorization: Bearer header, at ang sinumang may hawak ng key ay makakagawa ng mga request na sisingilin sa account na may-ari nito.

[Token](https://broadrouter.com/fil/glossary/token/)

Ang token ay ang yunit ng text na binabasa at isinusulat ng isang language model: isang salita, bahagi ng salita, bantas o byte sequence na ginawa ng tokenizer ng model. Sa token binibilang, nililimitahan at kadalasang sinisingil ng mga LLM API ang paggamit.

[Idempotency key](https://broadrouter.com/fil/glossary/idempotency-key/)

Ang idempotency key ay natatanging value, kadalasang random na ID gaya ng UUID, na ikinakabit ng client sa request na nagbabago ng state, gaya ng bayad o pagbili. Kapag ipinadala ulit ang parehong request gamit ang parehong key, ibinabalik ng server ang orihinal na resulta sa halip na gawin ulit ang aksyon.

[Pay-as-you-go](https://broadrouter.com/fil/glossary/pay-as-you-go/)

Ang pay-as-you-go ay paraan ng pagpepresyo kung saan ang nagamit mo lang ang binabayaran mo, sinusukat kada yunit gaya ng token, request o minuto ng audio, nang walang subscription o minimum na commitment. Ganito naniningil ang karamihan ng LLM API, mula sa prepaid na balance o sa pana-panahong invoice.

[Rate limit](https://broadrouter.com/fil/glossary/rate-limit/)

Ang rate limit ay hangganang itinatakda ng API sa dami ng paggamit ng isang client sa isang yugto ng oras, gaya ng request kada minuto o token kada minuto. Tinatanggihan ang mga request na lampas sa limit, kadalasan na may HTTP 429 Too Many Requests, hanggang bumaba ulit ang paggamit.

[Context window](https://broadrouter.com/fil/glossary/context-window/)

Ang context window ay ang pinakamaraming token na kayang hawakan ng isang language model sa iisang request. Sakop nito ang prompt, history ng usapan, tool definitions, mga larawan at ang nabuong output, kasama ang anumang reasoning tokens. Ang hindi kasya ay kailangang bawasan, ibuod o hatiin sa ilang request.

## Mga tanong

### Anong timeout ang dapat kong itakda sa mga LLM API call ng agent?

Sapat ang haba para sa pinakamabagal na lehitimong call, sapat ang ikli para mahuli ang na-hang. 10 minuto ang default ng OpenAI Python SDK. Maraming agent ang gumagamit ng 2 hanggang 5 minuto kada call na may streaming, at hiwalay na wall-clock limit kada task.

### Aling mga LLM API error ang dapat i-retry ng agent?

I-retry ang connection error, 429 at 5xx nang may limitadong exponential backoff at jitter. Ayusin ang 400, 401, 402, 403, 413 at 422 sa halip na i-retry. Sa BroadNet, i-log din ang header na X-Request-ID sa bawat failure.

### Ligtas bang i-retry ang chat completion?

Walang side effect ang mismong model call, kaya oo, pero bagong inference ito at sisingilin ulit sa pay-as-you-go. Nasa tools ang panganib. Puwedeng magpadala ng email nang dalawang beses ang na-retry na step maliban kung may idempotency key ang tool.

### Paano ko ipagpapatuloy ang agent pagkatapos mag-crash?

I-save ang message list at numero ng step pagkatapos ng bawat natapos na step, isulat ang mga side-effect ID bago kumilos, at i-load ulit ang mga ito pag-start. Magpapatuloy ang agent mula sa huling na-save na step.

### Kailangan ba ng unlimited plan ang mga matagal na tumatakbong agent?

Hindi, pero nagdadagdag-dagdag ang mga retry at mahahabang context sa pay-as-you-go. Sa mga unlimited plan ng BroadNet, walang token meter ang DeepSeek V4.1 Flash, kaya walang dagdag na gastos ang retry, pero isang request pa rin sa isang pagkakataon ang tinatakbo ng bawat session.

## Magbasa pa

-   [Tool calling sa open model: schema, parallel call, retry](https://broadrouter.com/fil/blog/tool-calling-open-models/)
-   [Magkano talaga ang multi-agent na setup: per token vs flat session](https://broadrouter.com/fil/blog/multi-agent-cost/)
-   [Paano magpatakbo ng sabay-sabay na coding agent sa flat-rate LLM API](https://broadrouter.com/fil/blog/run-parallel-coding-agents-flat-rate/)
-   [Ano talaga ang ibig sabihin ng "unlimited" sa isang LLM API plan](https://broadrouter.com/fil/blog/what-unlimited-llm-api-really-means/)
-   [LLM API failover: lumipat sa pangalawang provider sa sarili mong code](https://broadrouter.com/fil/blog/llm-api-failover-fallback/)
-   [Magkano ang isang run ng AI coding agent: hakbang, context, caching](https://broadrouter.com/fil/blog/ai-coding-agent-run-cost/)
-   [Claude Code sa open model: proxy, native endpoint at mga limit](https://broadrouter.com/fil/blog/claude-code-with-openai-compatible-models/)
-   [Gabay: Mga error code ng BroadNet Inference at kailan dapat mag-retry](https://broadrouter.com/fil/guides/errors-and-retries/)
-   [Gabay: Paano mag-stream ng chat completions at ayusin ang naputol na stream](https://broadrouter.com/fil/guides/streaming-chat-completions/)
-   [Gabay: Paano gumagana ang unlimited LLM API plans para sa mga agent](https://broadrouter.com/fil/guides/unlimited-llm-api-sessions/)
-   [Gabay: Paano gamitin ang OpenAI Python SDK sa BroadNet Inference](https://broadrouter.com/fil/guides/openai-python-sdk/)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-long-running-agents-timeouts-retries&utm_content=page-cta) ·

**Mga source**

-   [README ng OpenAI Python SDK, retry at timeout (sinuri noong 2026-11-14)](https://github.com/openai/openai-python)
-   [API reference ng BroadNet Inference, mga error at retry (Ingles)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-long-running-agents-timeouts-retries&utm_content=sources#errors)
-   [API reference ng BroadNet Inference, streaming at mga limit (Ingles)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-long-running-agents-timeouts-retries&utm_content=sources#requests)
-   [Mga unlimited plan ng BroadNet Inference (Ingles)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-long-running-agents-timeouts-retries&utm_content=sources)
