BroadRouter

Token al secondo (tokens per second)

Aggiornato

I token al secondo (TPS) sono la velocità con cui un modello linguistico genera token di output, di solito misurata per una richiesta dopo l’arrivo del primo token. Stabiliscono quanto scorre veloce una risposta una volta partita. Sommati su tutte le richieste concorrenti diventano throughput di sistema; l’attesa del primo token si misura a parte.

Detto anche: token al secondo, velocità di generazione, velocità di output, TPS, tok/s, tokens per second, output speed, generation speed

La velocità ha due parti: quanto tempo passa prima che compaia qualcosa, e quanto scorre veloce il testo dopo. I token al secondo misurano la seconda.

Come funziona

La documentazione di benchmarking di NVIDIA definisce le metriche collegate:

  • Time to first token (TTFT): dall’invio della richiesta alla ricezione del primo token. Cresce con la lunghezza del prompt.
  • Inter-token latency (ITL): l’intervallo medio tra un token di output e il successivo.
  • TPS per utente: i token di output di una richiesta divisi per il suo tempo end-to-end, quindi nella definizione di NVIDIA include il TTFT. Molte dashboard riportano invece la velocità di decodifica dopo il primo token, come fa questa pagina.
  • TPS di sistema: i token di output totali su tutte le richieste simultanee, detti anche throughput.

Le due metriche tirano in direzioni opposte. NVIDIA nota che, quando la concorrenza aumenta, i TPS di sistema salgono mentre i TPS per utente scendono. Il numero di marketing di un provider e la velocità della tua singola richiesta possono essere entrambi onesti e comunque diversi.

Una stima rapida per una risposta:

total time ≈ TTFT + output tokens ÷ tokens per second

Cioè: tempo totale ≈ TTFT + token di output ÷ token al secondo. Prendi a titolo di esempio uno stream da 50 token al secondo: una risposta da 1.000 token richiede circa 20 secondi dopo il primo token. Se il modello scrive anche 2.000 token di ragionamento, aggiungi circa 40 secondi prima che inizi la risposta. Il time to first token si somma a tutto questo.

Perché è importante

  • Esperienza utente. Lo streaming mostra il testo man mano che arriva, quindi TTFT e TPS decidono quanto sembra veloce una risposta.
  • Throughput degli agenti. Un agente di coding aspetta ogni risposta prima del passo successivo. Un output più veloce significa più passi all’ora.
  • Limiti dei piani. Su un piano senza contatore di token, la velocità diventa il vero tetto ai token che puoi usare.

Su BroadNet Inference

La pagina dei piani di BroadNet indica una velocità tipica di circa 100 token al secondo per DeepSeek V4.1 Flash. Una sessione dei piani illimitati esegue una richiesta alla volta, quindi a quella velocità una sessione che generasse senza sosta per 30 giorni produrrebbe circa 259 milioni di token di output. Gli agenti reali passano tempo a leggere, eseguire tool e aspettare, quindi il valore pratico è più basso.

Per avere più throughput totale su un piano, aggiungi sessioni: una per ogni agente che lavora in parallelo. Vedi come funzionano le sessioni illimitate e far girare agenti di coding in parallelo.

Errori comuni

  • Confrontare i provider su una singola richiesta. Misura TTFT e TPS su molte richieste, con le dimensioni di prompt che usi davvero.
  • Dimenticare il tempo di ragionamento quando imposti i timeout lato client.

Domande frequenti

Qual è un buon valore di token al secondo?

Dipende dall’uso. Una risposta in chat sembra reattiva quando il testo compare più in fretta di quanto le persone leggano. Agenti e job batch badano di più al tempo totale per task e a quante richieste girano in parallelo.

I token al secondo includono il prompt?

Di solito no. La velocità di generazione conta i token di output. La lettura del prompt si vede invece nel time to first token, che cresce con la lunghezza del prompt.

I token di ragionamento rallentano la risposta?

Sì. Vengono generati alla stessa velocità dell’output visibile, quindi un modello che ragiona per 2.000 token ritarda la risposta del tempo che servono a quei token.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity