BroadRouter

Contesto degli agenti a lungo termine con una finestra da 1M

A cura del team di BroadNet Inference · 6 min di lettura · Pubblicato · Aggiornato

Tratta il contesto come un log append-only: prima un system prompt e un elenco di tool fissi, poi uno storico che cresce soltanto, così ogni turno riusa il prefisso in cache. Con una finestra da 1.048.576 token, come su DeepSeek V4.1 Flash, compatta di rado e a grandi passi, taglia prima l’output voluminoso dei tool e tieni i fatti durevoli in un breve file di note che l’agente rilegge.

Un agente di coding che lavora per un pomeriggio accumula parecchio storico: file letti, comandi eseguiti, output dei test, piani, correzioni. A ogni turno tutto questo torna al modello. Il modo in cui gestisci quel contesto che cresce decide tre cose insieme: quanto costa ogni turno, quanto velocemente risponde e se l’agente si ricorda ancora cosa stava facendo.

Una finestra da 1M di token cambia i compromessi. Non li fa sparire.

Che cosa ottiene un agente a lungo termine da una finestra da 1M di token?

Su BroadNet Inference, DeepSeek V4.1 Flash e GLM 5.3 accettano fino a 1.048.576 token per richiesta, prompt e risposta insieme. Qwen3.8 27B ne accetta 262.144. Con finestre più piccole un agente deve riassumere dopo un’ora o due di lavoro. Con un milione di token di solito può tenere lo storico grezzo di un’intera sessione e compattare solo verso la fine di un’esecuzione molto lunga.

È un vantaggio reale: i riassunti perdono informazioni, e ogni riassunto è un’occasione per dimenticare proprio il dettaglio che contava. Ma tre costi crescono comunque con il prompt:

  • Denaro, con una chiave a token, perché ogni turno rimanda l’intero prompt.
  • Latenza, perché il server deve elaborare ogni token di input prima del primo token di output.
  • Attenzione. La qualità può calare man mano che l’input cresce, un effetto chiamato context rot. Il paper “Lost in the Middle” ha rilevato che i modelli tendono a usare in modo più affidabile le informazioni all’inizio e alla fine di un input lungo rispetto a quelle nel mezzo. I modelli più recenti vanno meglio, ma l’abitudine di tenere i fatti importanti vicino ai bordi ripaga ancora.

Regola 1: perché lo storico dovrebbe essere append-only?

Il prompt caching confronta il prompt a partire dall’inizio. Se i primi 300.000 token di questo turno sono identici a quelli del turno precedente, possono essere serviti dalla cache; il primo token diverso chiude la corrispondenza. L’API di BroadNet lo riporta in usage.prompt_tokens_details.cached_tokens quando il modello lo fornisce, e fattura l’input in cache a una tariffa più bassa: $0.0055 per 1M di token su DeepSeek V4.1 Flash, contro $0.175 per l’input nuovo.

Quindi struttura ogni richiesta sempre nello stesso ordine e aggiungi solo in fondo:

[ system prompt ]        never changes during a session
[ tool definitions ]     fixed order, never changes
[ project notes ]        changes rarely, and only by appending
[ turn 1 ... turn N ]    grows at the end
[ new message ]

I soliti colpevoli che rompono il prefisso sono un timestamp nel system prompt, definizioni dei tool in ordine instabile e il ri-rendering dei vecchi risultati dei tool. Per gli agenti aggiungine un altro: il taglio a «finestra scorrevole» che scarta ogni volta il turno più vecchio, spostando tutto ciò che viene dopo. Ognuno di questi trasforma un prompt in cache in un prompt nuovo; struttura del prompt per la cache elenca gli altri, con un test che dimostra che il prefisso è in cache. In una sessione lunga la differenza è grande: gran parte del prompt può essere input in cache invece che input nuovo. Come viene fatturato l’input in cache.

Regola 2: come si misura il tasso di cache?

Registralo nei log a ogni richiesta. Con l’SDK di OpenAI bastano tre righe dopo la chiamata:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

resp = client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=history, max_tokens=8000)
u = resp.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"turn prompt={u.prompt_tokens:,} cached={cached:,} ({cached / max(1, u.prompt_tokens):.0%})")

Un agente append-only in salute mostra una quota alta di token in cache a ogni turno dopo il primo. Un crollo improvviso vicino allo zero significa che qualcosa all’inizio del prompt è cambiato. Trovalo e fissalo. Il calcolatore del prompt caching trasforma un tasso di cache in denaro per sessione.

Regola 3: cosa tagliare per primo quando il contesto cresce?

Quando il contesto deve davvero ridursi, conta cosa scarti. Nella maggior parte delle trascrizioni di un agente il grosso è output dei tool: un log di test da 4.000 righe, un file intero letto per trovare una funzione, l’elenco di una directory. La parte preziosa è piccola: il piano, le decisioni e il perché, gli errori corretti.

Ordine dei tagli, dal primo all’ultimo:

  1. Output dei tool non più attuale. Sostituisci il corpo dei vecchi risultati con uno stub di una riga: “ran pytest: 3 failures in test_api.py (fixed in turn 14)”.
  2. Contenuti di file superati. Se l’agente ha letto api.py, l’ha modificato e poi l’ha riletto, la prima lettura è solo zavorra.
  3. Esplorazioni che non hanno portato a nulla. Ricerche e letture che non hanno prodotto una modifica.
  4. Ragionamento e piani. Tienili più a lungo di tutto. Spiegano perché il codice è fatto così.

Troncare l’output dei tool nel momento in cui viene prodotto è ancora meglio. Metti un tetto a ogni risultato (per esempio le ultime 200 righe di un log più il numero totale di righe) e lascia che l’agente chieda di più se gli serve. Così lo storico resta append-only e piccolo.

Regola 4: quando un agente dovrebbe compattare lo storico?

La compattazione (riassumere lo storico più vecchio in un blocco più breve) è lo strumento pesante. Riscrive il prefisso, quindi il turno dopo una compattazione paga il prezzo pieno dell’input per tutto ciò che segue il system prompt. Compattare un po’ ogni pochi turni significa pagare quel prezzo ancora e ancora.

Meglio così:

  • Scegli una soglia alta. Con una finestra da 1M, compattare, per esempio, al 60–70% di riempimento lascia spazio al turno di riassunto e a una lunga coda di lavoro nuovo.
  • Tieni la coda recente parola per parola. Riassumi la parte vecchia e lascia intatto l’ultimo tratto di turni. La documentazione sulla compaction di opencode descrive proprio questo: riassume la conversazione e mantiene la parte più recente, circa 15.000 token per impostazione predefinita.
  • Riassumi con il prompt completo. Mandare l’intera conversazione alla richiesta di riassunto le permette di riusare la cache del turno precedente.
  • Compatta una volta, poi torna ad aggiungere. Dopo una compattazione il nuovo prefisso è stabile, e la cache riparte da lì.

Regola 5: cosa va in un file di note?

Alcuni fatti devono sopravvivere a qualsiasi numero di compattazioni: l’obiettivo, i vincoli, le decisioni prese, i comandi che compilano e testano il progetto. Tienili in un breve file di note (un NOTES.md o un file di task) a cui l’agente aggiunge righe e che rilegge. Sta vicino all’inizio del prompt, cambia di rado ed è la prima cosa che legge una sessione nuova se l’esecuzione riparte.

È anche la forma di memoria più economica: qualche migliaio di token che evitano all’agente di riscoprire gli stessi fatti dopo ogni riassunto.

Come incidono i token di ragionamento sul budget?

DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B ragionano prima di rispondere, e il ragionamento conta in max_tokens. Una sessione lunga non cambia questo fatto, ma i prompt grandi spingono ad abbassare max_tokens per «fare spazio». Non farlo. Un budget di output stretto produce risposte vuote, che poi l’agente riprova. Perché le risposte arrivano vuote.

Ricorda anche che la finestra conta prompt e risposta insieme. Vicino a 1.048.576 token di prompt non resta spazio per rispondere. Compatta prima di arrivarci; il calcolatore della finestra di contesto mostra quanto spazio lascia un certo prompt.

Conta anche con un piano flat?

In una sessione di un piano BroadNet, DeepSeek V4.1 Flash non ha contatore di token: una sessione Full Moon costa $60 al mese, per quanto lunghi siano i prompt. L’argomento economico a favore della cache sparisce. Gli altri due no. In molti sistemi di serving un prefisso in cache viene in genere elaborato più in fretta, e un contesto ben gestito dà risposte migliori. Le abitudini sono le stesse; cambia solo il motivo. Come funzionano le sessioni del piano.

Checklist per la gestione del contesto

  • System prompt ed elenco dei tool fissi per tutta la sessione.
  • Storico solo in aggiunta; i turni vecchi non vengono mai riformattati.
  • Tasso di cache registrato a ogni richiesta.
  • Output dei tool limitato quando viene prodotto; output superato sostituito da uno stub più avanti.
  • Compattazione a una soglia alta, mantenendo intatta la coda recente.
  • Un file di note con obiettivo, vincoli e decisioni.
  • Budget di output abbastanza ampio per il ragionamento.

Per capire quando valga davvero la pena usare una finestra da un milione di token, leggi la guida alla finestra di contesto da 1M. Per fermare le sessioni che crescono senza fare progressi, leggi come controllare il costo dei loop degli agenti.

Domande frequenti

Se il modello ha una finestra da 1M, perché gestire il contesto?

Perché costo, latenza e precisione cambiano tutti man mano che il prompt cresce. I prompt lunghi richiedono più tempo per essere elaborati, costano di più a ogni turno con una chiave a token, e la ricerca mostra che i modelli usano in modo meno affidabile le informazioni che stanno a metà di input lunghi.

Come faccio a sapere se il mio agente sta usando la cache?

Quando il modello lo riporta, il blocco usage include prompt_tokens_details.cached_tokens. Dividilo per prompt_tokens a ogni richiesta e registra la percentuale nei log.

La compattazione conta con un piano flat?

Non per la bolletta, perché una sessione del piano non ha contatore di token. Conta però per la velocità e per la qualità delle risposte nelle sessioni molto lunghe.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity