Un agent qui tourne cinq minutes peut ignorer les pannes. Un agent qui tourne cinq heures verra un timeout, un 429, un flux interrompu et probablement un redémarrage. La plupart des guides sur les agents de longue durée vendent un moteur de workflow. Vous n’en avez peut-être pas besoin. Cet article présente les cinq habitudes qui maintiennent en vie pendant des heures une simple boucle d’agent, avec du code pour le SDK Python d’OpenAI.
Qu’est-ce qui casse quand un agent tourne pendant des heures ?
| Panne | À quoi elle ressemble | Habitude qui la gère |
|---|---|---|
| Appel bloqué ou lent | Pas de réponse pendant des minutes | Timeout par appel, streaming |
| Limite de débit ou surcharge | 429, 5xx | Retry borné avec backoff |
| Flux interrompu | La connexion se ferme avant [DONE] |
La traiter comme incomplète, relancer l’appel |
| Effet de bord en double | Un outil s’exécute deux fois après un retry | Clés d’idempotence |
| Plantage du processus ou déploiement | L’agent redémarre à l’étape 1 | Checkpoint à chaque étape |
1. Combien de temps un appel peut-il durer ?
Le README du SDK Python d’OpenAI indique que les requêtes expirent par défaut au bout de 10 minutes et que certaines erreurs sont relancées deux fois. Pour un agent, fixez les deux vous-même, pour que le comportement ne change pas à votre insu :
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"],
timeout=300, max_retries=4)
Choisissez le timeout à partir de données. Journalisez la durée de chaque appel pendant une journée et fixez le timeout bien au-dessus de l’appel réussi le plus lent. Les gros prompts mettent plus de temps à démarrer, et les modèles de raisonnement réfléchissent avant d’écrire. À environ 100 tokens par seconde, 8 000 tokens de sortie prennent à eux seuls plus d’une minute. Ajoutez un budget de temps séparé par tâche, pour qu’une boucle qui ne s’arrête pas ne tourne pas toute la nuit.
2. Pourquoi utiliser le streaming dans un agent de longue durée ?
Le streaming vous donne un signal pendant que le modèle travaille. Sans lui, un appel lent et une connexion morte se ressemblent jusqu’au déclenchement du timeout. Avec lui, vous voyez les chunks arriver et vous obtenez aussi la consommation de tokens dans le dernier chunk.
Les règles de streaming de BroadNet : lisez jusqu’à la ligne littérale data: [DONE]. Si la connexion se ferme avant, la réponse est incomplète. Notez le X-Request-ID, puis décidez s’il faut faire une nouvelle requête. Guide complet du streaming.
def call_streaming(messages, tools=None):
parts, done = [], False
stream = client.chat.completions.create(
model="broadnet/glm-5.3", messages=messages, tools=tools, stream=True,
stream_options={"include_usage": True}, max_tokens=8000)
for chunk in stream:
if chunk.choices and chunk.choices[0].finish_reason:
done = True
if chunk.choices and chunk.choices[0].delta.content:
parts.append(chunk.choices[0].delta.content)
if not done:
raise IncompleteStream() # retry the whole call
return "".join(parts)
Cette esquisse ne collecte que le texte. Si vous diffusez des appels d’outils en streaming, accumulez aussi delta.tool_calls par index.
3. Que faut-il relancer ?
Le SDK relance déjà les erreurs de connexion, les 408, 409, 429 et 5xx. Ajoutez votre propre retry par-dessus uniquement pour ce qu’il ne voit pas, comme un flux incomplet :
- À relancer : erreurs de connexion, 429, 5xx, flux incomplets. Utilisez un backoff exponentiel avec jitter et un plafond, par exemple 4 tentatives.
- À corriger, pas à relancer : 400, 401, 402, 403, 413, 422. Ces erreurs échouent de la même façon à chaque fois. Voir codes d’erreur et quand relancer.
- Budgétez les retries par tâche, pas seulement par appel. Dix étapes relancées chacune quatre fois, ce sont quarante appels de plus.
- Basculez une fois les retries épuisés. Si une exécution doit survivre à une panne du fournisseur, envoyez les erreurs de connexion, les 5xx et les 429 de limite de débit vers un second fournisseur. Le basculement d’API LLM montre le code client et un circuit breaker.
En paiement à l’usage, chaque retry est une nouvelle inférence, facturée à nouveau. Une clé en paiement à l’usage autorise aussi 30 requêtes par minute et 4 en parallèle : les tempêtes de retries atteignent donc vite la limite de débit ; le calculateur de limites de débit montre la marge dont dispose votre agent. L’article sur la gestion des 429 détaille le backoff. Avec un forfait illimité, les retries ne coûtent rien de plus, mais occupent l’unique emplacement de requête de la session pendant leur exécution.
4. Comment rendre les appels d’outils idempotents ?
Un appel au modèle n’a pas d’effet de bord. Un appel d’outil peut en avoir. Si l’agent plante après l’exécution de send_invoice mais avant l’enregistrement de l’étape, l’agent redémarré enverra la facture une seconde fois.
Donnez à chaque appel à effet de bord une clé d’idempotence dérivée de la tâche et de l’étape, vérifiez-la avant d’agir et sautez l’appel s’il est déjà enregistré :
def run_side_effect(task_id, step, call, store):
key = f"{task_id}:{step}:{call.id}"
if store.done(key):
return store.result(key) # already ran: return the saved result
result = execute(call) # pass key to the API if it supports one
store.save(key, result)
return result
Beaucoup d’API de paiement et de messagerie acceptent un en-tête de clé d’idempotence. Transmettez-y la vôtre quand c’est le cas.
5. Comment faire des checkpoints d’un agent ?
Enregistrez après chaque étape terminée : la liste des messages, le numéro d’étape et les clés des effets de bord. Au démarrage, chargez le dernier checkpoint s’il en existe un.
def save_checkpoint(path, step, messages):
tmp = path + ".tmp"
with open(tmp, "w") as f:
json.dump({"step": step, "messages": messages}, f)
os.replace(tmp, path) # atomic on the same filesystem
Écrire dans un fichier temporaire puis le renommer garantit qu’un plantage en pleine écriture ne laisse jamais un demi-checkpoint. Pour les sessions très longues, enregistrez aussi un résumé : remplacez les anciens tours par un court résumé, pour qu’un agent qui reprend ne recharge pas un historique énorme. Vous restez ainsi dans la fenêtre de contexte, même à 1 048 576 tokens sur DeepSeek V4.1 Flash.
Une checklist avant une exécution de nuit
- Timeout et
max_retriesfixés explicitement sur le client. - Streaming activé, avec
include_usage, et flux incomplets relancés. - Un budget de retries par tâche et une limite de temps.
- Des clés d’idempotence sur chaque outil qui écrit, envoie ou paie.
- Un checkpoint après chaque étape, écrit de façon atomique.
- Des logs avec numéro d’étape, durée, tokens et
X-Request-ID.
Si vous faites tourner plusieurs agents côte à côte, lisez faire tourner des agents de code en parallèle au forfait et ce que coûtent les configurations multi-agents.
Où se situe BroadNet Inference
BroadNet Inference utilise le streaming standard des chat completions, renvoie un en-tête X-Request-ID que vous pouvez journaliser et documente quelles erreurs relancer : les modèles ci-dessus fonctionnent donc tels quels. Pour les agents qui tournent toute la journée, les forfaits illimités suppriment le compteur de tokens sur DeepSeek V4.1 Flash pour $60 par mois et par session, ce qui rend les retries gratuits. Gardez en tête qu’une heure Meteor se termine une heure après l’achat et une semaine Orbit au bout de sept jours : une longue tâche doit donc finir dans la période ou passer sur une session Full Moon renouvelable. Les forfaits sont sur inference.broadnet.ai/plans.
