Le finestre di contesto sono passate da qualche migliaio di token a oltre un milione. DeepSeek V4.1 Flash e GLM 5.3 su BroadNet Inference accettano 1.048.576 token per richiesta, prompt e risposta insieme. Questo cambia il modo in cui puoi costruire, ma non rende migliore ogni prompt.
Cosa sta in un milione di token?
Come riferimento approssimativo: nel nostro dataset sull’efficienza dei tokenizer, 1.000 parole di prosa inglese hanno dato circa 1,290 token, in media su cinque tokenizer, quindi un milione di token sono circa 810,000 parole di prosa semplice:
| Contenuto | Più o meno |
|---|---|
| Una codebase di medie dimensioni (decine di migliaia di righe) | Ci sta, con spazio in avanzo |
| Diversi contratti lunghi con allegati | Ci stanno |
| Un giorno di trascrizioni di riunioni | Ci sta |
| Un grande monorepo con le dipendenze | Spesso no; seleziona le directory |
Il numero di token dipende da lingua e contenuto. Il codice e il testo arabo spesso usano più token per carattere della prosa inglese. Misura con il blocco usage di una richiesta reale invece di stimare, oppure controlla un campione nel calcolatore della finestra di contesto.
Quali modelli BroadNet hanno una finestra di contesto da 1M di token?
| Modello | Finestra di contesto | Input | Output | Immagini |
|---|---|---|---|---|
| DeepSeek V4.1 Flash | 1.048.576 | $0.175 | $0.52 | Sì |
| GLM 5.3 | 1.048.576 | $0.78 | $3.46 | No |
| Qwen3.8 27B | 262.144 | $0.175 | $2.17 | Sì |
| BroadNet Gemma 4 VL 26B | 32.768 | $0.10 | $0.22 | Sì |
I prezzi sono per 1M di token. GLM 5.3 aggiunge tool calling e output strutturato sulla stessa finestra da 1M.
Quando conviene una finestra da 1M di token?
- Ragionamento tra più file. “Perché fallisce questo test?” spesso dipende da cinque file che nessuno penserebbe di recuperare insieme.
- Revisione di documenti interi. Trovare conflitti tra la clausola 4 e l’allegato B richiede di vederli entrambi.
- Analisi una tantum. Per una domanda che farai una volta sola, costruire un indice di retrieval costa più fatica di quanta ne risparmi.
- Agenti. Un sub-agente che può leggere l’intero modulo tira a indovinare meno spesso. Vedi eseguire agenti in parallelo.
Quando il retrieval resta la scelta migliore?
Il retrieval vince per tante piccole ricerche in un archivio molto più grande di qualsiasi finestra, per contenuti che cambiano ogni minuto e per risposte interattive rapide, dove leggere prima un prompt enorme aggiunge ritardo. Molti sistemi in produzione fanno entrambe le cose: recuperano i 200.000 token più rilevanti, poi lasciano ragionare su tutti un modello a contesto lungo. La decisione completa, con costo per query, latenza e recall a confronto, è in contesto lungo o RAG.
Il modello usa davvero tutta la finestra?
Non in modo uniforme. La ricerca su questo è coerente:
- Lo studio Lost in the Middle (Liu et al.) ha rilevato che le prestazioni «is often highest when relevant information occurs at the beginning or end of the input context» (traduzione: sono spesso più alte quando l’informazione rilevante si trova all’inizio o alla fine del contesto di input).
- Il report Context Rot di Chroma ha testato 18 modelli e ha rilevato che «performance grows increasingly unreliable as input length grows» (traduzione: le prestazioni diventano sempre meno affidabili al crescere della lunghezza dell’input), anche su compiti semplici.
Questi studi non hanno testato i modelli su BroadNet, quindi prendili come un avvertimento, non come una misurazione. La regola pratica: una finestra che accetta un milione di token non significa che ogni token riceva la stessa attenzione. Metti il materiale più importante vicino all’inizio o alla fine, e verifica il recall sui tuoi documenti.
Quanto costa un prompt da un milione di token?
Con una chiave a pagamento a consumo, DeepSeek V4.1 Flash fattura $0.175 per 1M di token di input e $0.0055 per 1M di token di input in cache. Un prompt pieno da un milione di token costa circa $0.175 la prima volta, e molto meno nelle chiamate ripetute quando il prefisso è in cache. Come alzare il tuo tasso di cache.
Il calcolatore del prompt caching mostra quanto fa risparmiare un hit della cache con le dimensioni dei tuoi prompt. Un esempio concreto: dieci domande sullo stesso insieme di contratti da 800.000 token. Senza cache sono 8M di token a $0.175 per 1M. Se i documenti vengono per primi e restano identici, la prima chiamata legge 800.000 token nuovi e le nove successive possono leggerne la maggior parte dalla cache a $0.0055 per 1M. Cambiano solo la domanda e la risposta.
Con un piano illimitato la dimensione del prompt non cambia la fattura: Full Moon costa $60 al mese per sessione senza contatore di token. Per questo gli agenti a contesto lungo sono un motivo comune per scegliere un piano flat invece della fatturazione per token.
Quanto spazio lasciare per la risposta?
La finestra copre prompt e output, e sui modelli di ragionamento l’output include il thinking. Se invii 1.040.000 token di prompt, ne restano solo circa 8.000 per ragionamento e risposta. Tieni un margine, imposta esplicitamente max_tokens e leggi perché i modelli di ragionamento possono restituire una risposta vuota.
Come preparare una codebase per un prompt da 1M di token
- Escludi ciò che non serve al modello. Lock file, output di build, dipendenze vendorizzate, immagini e codice generato occupano token e aggiungono rumore.
- Conta prima di inviare. Invia un piccolo campione, leggi
prompt_tokensda usage e scala. - Ordina per stabilità. Prima i file che cambiano di rado, per ultimi quelli in modifica, la domanda proprio alla fine. Così il prefisso resta utilizzabile dalla cache.
- Etichetta ogni file. Racchiudi i file tra marcatori chiari come
=== path/to/file.py ===, così il modello può citarli. - Chiedi citazioni. “Cita la riga su cui ti basi” riduce gli errori detti con sicurezza su input enormi.
- Misura. Registra per ogni richiesta token del prompt, token in cache e tempo al primo token. Lo streaming mostra il primo token appena arriva.
Dove si inserisce BroadNet Inference
Due dei suoi modelli di chat accettano 1.048.576 token per richiesta, e BroadNet non taglia il tuo contesto. Con una chiave a token, la cache mantiene sostenibili i prompt lunghi ripetuti; con una sessione di un piano, la dimensione del prompt non incide sulla fattura. Se il tuo corpus è molto più grande di un milione di token o cambia ogni minuto, ti serve comunque il retrieval, e nessuna dimensione di finestra cambia le cose.

