La velocità ha due parti: quanto tempo passa prima che compaia qualcosa, e quanto scorre veloce il testo dopo. I token al secondo misurano la seconda.
Come funziona
La documentazione di benchmarking di NVIDIA definisce le metriche collegate:
- Time to first token (TTFT): dall’invio della richiesta alla ricezione del primo token. Cresce con la lunghezza del prompt.
- Inter-token latency (ITL): l’intervallo medio tra un token di output e il successivo.
- TPS per utente: i token di output di una richiesta divisi per il suo tempo end-to-end, quindi nella definizione di NVIDIA include il TTFT. Molte dashboard riportano invece la velocità di decodifica dopo il primo token, come fa questa pagina.
- TPS di sistema: i token di output totali su tutte le richieste simultanee, detti anche throughput.
Le due metriche tirano in direzioni opposte. NVIDIA nota che, quando la concorrenza aumenta, i TPS di sistema salgono mentre i TPS per utente scendono. Il numero di marketing di un provider e la velocità della tua singola richiesta possono essere entrambi onesti e comunque diversi.
Una stima rapida per una risposta:
total time ≈ TTFT + output tokens ÷ tokens per second
Cioè: tempo totale ≈ TTFT + token di output ÷ token al secondo. Prendi a titolo di esempio uno stream da 50 token al secondo: una risposta da 1.000 token richiede circa 20 secondi dopo il primo token. Se il modello scrive anche 2.000 token di ragionamento, aggiungi circa 40 secondi prima che inizi la risposta. Il time to first token si somma a tutto questo.
Perché è importante
- Esperienza utente. Lo streaming mostra il testo man mano che arriva, quindi TTFT e TPS decidono quanto sembra veloce una risposta.
- Throughput degli agenti. Un agente di coding aspetta ogni risposta prima del passo successivo. Un output più veloce significa più passi all’ora.
- Limiti dei piani. Su un piano senza contatore di token, la velocità diventa il vero tetto ai token che puoi usare.
Su BroadNet Inference
La pagina dei piani di BroadNet indica una velocità tipica di circa 100 token al secondo per DeepSeek V4.1 Flash. Una sessione dei piani illimitati esegue una richiesta alla volta, quindi a quella velocità una sessione che generasse senza sosta per 30 giorni produrrebbe circa 259 milioni di token di output. Gli agenti reali passano tempo a leggere, eseguire tool e aspettare, quindi il valore pratico è più basso.
Per avere più throughput totale su un piano, aggiungi sessioni: una per ogni agente che lavora in parallelo. Vedi come funzionano le sessioni illimitate e far girare agenti di coding in parallelo.
Errori comuni
- Confrontare i provider su una singola richiesta. Misura TTFT e TPS su molte richieste, con le dimensioni di prompt che usi davvero.
- Dimenticare il tempo di ragionamento quando imposti i timeout lato client.