---
title: "Ano ang tokens per second (TPS) sa LLM inference? | BroadRouter"
description: "Sinusukat ng tokens per second kung gaano kabilis bumuo ng output ang LLM. Kada request vs throughput ng system, time to first token, at tantiya ng tagal ng sagot."
url: https://broadrouter.com/fil/glossary/tokens-per-second/
lang: fil
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/glossary/tokens-per-second/) (na-update noong 2026-11-14).

# Tokens per second (TPS)

Na-update 2026-11-14

Ang tokens per second (TPS) ay ang bilis ng pagbuo ng language model ng mga output token, kadalasang sinusukat para sa isang request pagkatapos dumating ang unang token. Ito ang bilis ng pag-stream ng sagot kapag nagsimula na. Kapag pinagsama sa lahat ng sabay na request, nagiging throughput ito ng system; hiwalay na sinusukat ang paghihintay bago ang unang token.

Tinatawag ding: bilis ng LLM, bilis ng output, TPS, tok/s, output speed, generation speed

Dalawa ang bahagi ng bilis: gaano katagal bago may lumabas, at gaano kabilis dumaloy ang text pagkatapos noon. Ang ikalawang bahagi ang sinusukat ng tokens per second.

## Paano ito gumagana

Dine-define ng benchmarking docs ng NVIDIA ang mga kaugnay na metric:

-   **Time to first token (TTFT):** mula pagpapadala ng request hanggang matanggap ang unang token. Humahaba ito habang humahaba ang prompt.
-   **Inter-token latency (ITL):** ang average na pagitan ng mga output token.
-   **Per-user TPS:** mga output token ng isang request na hinati sa end-to-end na oras nito, kaya sa definition ng NVIDIA, kasama rito ang TTFT. Maraming dashboard naman ang nagbibigay ng decode speed pagkatapos ng unang token, gaya ng ginagawa ng pahinang ito.
-   **System TPS:** kabuuang output token sa lahat ng sabay-sabay na request, tinatawag ding [throughput](https://broadrouter.com/fil/glossary/throughput/).

Magkasalungat ang hila nila. Ayon sa NVIDIA, habang tumataas ang [concurrency](https://broadrouter.com/fil/glossary/concurrency/), tumataas ang system TPS habang bumababa ang per-user TPS. Puwedeng parehong tapat ang numero sa marketing ng isang provider at ang bilis ng iisa mong request, pero magkaiba pa rin.

Mabilis na tantiya para sa isang sagot:

`total time ≈ TTFT + output tokens ÷ tokens per second`

Ibig sabihin, ang kabuuang oras ay humigit-kumulang TTFT dagdag ang output token na hinati sa tokens per second. Halimbawa, isang stream na 50 token kada segundo: mga 20 segundo ang 1,000-token na sagot pagkatapos ng unang token. Kung sumusulat din ang model ng 2,000 [reasoning token](https://broadrouter.com/fil/glossary/reasoning-tokens/), magdagdag ng mga 40 segundo bago magsimula ang sagot. Dagdag pa rito ang [time to first token](https://broadrouter.com/fil/glossary/time-to-first-token/).

## Bakit ito mahalaga

-   **Karanasan ng user.** Ipinapakita ng [streaming](https://broadrouter.com/fil/glossary/streaming/) ang text habang dumarating, kaya TTFT at TPS ang nagpapasya kung gaano kabilis ang pakiramdam ng sagot.
-   **Throughput ng agent.** Hinihintay ng isang coding agent ang bawat sagot bago ang susunod na hakbang. Mas mabilis na output, mas maraming hakbang kada oras.
-   **Mga limit ng plan.** Sa plan na walang token meter, bilis ang nagiging tunay na kisame sa dami ng token na magagamit mo.

## Sa BroadNet Inference

Nagbibigay ang plans page ng BroadNet ng karaniwang bilis na mga 100 token bawat segundo para sa DeepSeek V4.1 Flash. Isang request sa bawat pagkakataon ang pinapatakbo ng session sa mga unlimited plan, kaya sa bilis na iyon, ang session na tuloy-tuloy na bumubuo nang 30 araw ay makakagawa ng mga 259 milyon output token. Ang totoong mga agent ay gumugugol ng oras sa pagbasa, pagpapatakbo ng mga tool at paghihintay, kaya mas mababa ang praktikal na figure.

Para makakuha ng mas mataas na kabuuang throughput sa isang plan, magdagdag ng session: isa kada agent na sabay na nagtatrabaho. Tingnan ang [paano gumagana ang mga unlimited session](https://broadrouter.com/fil/guides/unlimited-llm-api-sessions/) at [pagpapatakbo ng parallel na coding agent](https://broadrouter.com/fil/blog/run-parallel-coding-agents-flat-rate/).

## Mga karaniwang pagkakamali

-   Pagkumpara ng mga provider batay sa iisang request. Sukatin ang TTFT at TPS sa maraming request, gamit ang sarili mong laki ng prompt.
-   Paglimot sa oras ng reasoning kapag nagse-set ng client timeout.

## Mga tanong

### Ano ang magandang bilang ng tokens per second?

Depende sa gamit. Mabilis ang pakiramdam ng chat reply kapag mas mabilis lumabas ang text kaysa sa pagbasa ng tao. Mas mahalaga sa mga agent at batch job ang kabuuang oras kada task at kung ilang request ang sabay na tumatakbo.

### Kasama ba ang prompt sa tokens per second?

Kadalasan hindi. Output token ang binibilang ng generation speed. Lumalabas naman ang pagbasa sa prompt bilang time to first token, na humahaba habang humahaba ang prompt.

### Pinababagal ba ng reasoning token ang sagot?

Oo. Nabubuo ang mga ito sa parehong bilis ng nakikitang output, kaya ang model na nag-iisip nang 2,000 token ay maaantala ang sagot nang kasingtagal ng pagbuo sa mga token na iyon.

## Tingnan din

-   [Token](https://broadrouter.com/fil/glossary/token/) (termino)
-   [Concurrency](https://broadrouter.com/fil/glossary/concurrency/) (termino)
-   [Streaming](https://broadrouter.com/fil/glossary/streaming/) (termino)
-   [Reasoning tokens](https://broadrouter.com/fil/glossary/reasoning-tokens/) (termino)
-   [Throughput](https://broadrouter.com/fil/glossary/throughput/) (termino)
-   [Latency](https://broadrouter.com/fil/glossary/latency/) (termino)
-   [Time to first token (TTFT)](https://broadrouter.com/fil/glossary/time-to-first-token/) (termino)
-   [Speculative decoding](https://broadrouter.com/fil/glossary/speculative-decoding/) (termino)
-   [Paano mag-stream ng chat completions at ayusin ang naputol na stream](https://broadrouter.com/fil/guides/streaming-chat-completions/) (gabay)
-   [Paano gumagana ang unlimited LLM API plans para sa mga agent](https://broadrouter.com/fil/guides/unlimited-llm-api-sessions/) (gabay)
-   [Flat-rate vs pay-per-token na LLM API: ang break-even math](https://broadrouter.com/fil/blog/flat-rate-vs-pay-per-token-llm-api/) (artikulo)
-   [Paano magpatakbo ng sabay-sabay na coding agent sa flat-rate LLM API](https://broadrouter.com/fil/blog/run-parallel-coding-agents-flat-rate/) (artikulo)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-tokens-per-second&utm_content=page-cta) ·

**Mga source**

-   [NVIDIA NIM, mga metric sa LLM inference benchmarking (TTFT, ITL, TPS)](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [Mga plan ng BroadNet Inference (karaniwang bilis) (Ingles)](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-tokens-per-second&utm_content=sources)
