BroadRouter
Magsimula

Latency

Na-update

Ang latency, para sa isang language model API, ay ang tagal ng isang request mula sa pagpapadala hanggang matanggap ang huling output token. Kabuuan ito ng time to first token at ng generation time, at kadalasang iniuulat bilang percentile gaya ng p50 at p95 sa halip na average.

Tinatawag ding: LLM latency, bilis ng sagot ng LLM, end-to-end latency, response time, e2e latency, inter-token latency

Ang latency ang numerong nararamdaman ng user. Ito rin ang madalas gumulat sa mga team na lumilipat mula demo papuntang production.

Paano ito gumagana

Ibinibigay ng metrics guide ng NVIDIA ang pangunahing formula para sa isang request: ang end-to-end latency ay TTFT dagdag ang generation time, at ang inter-token latency (ITL) ay ang natitirang oras pagkatapos ng TTFT na hinati sa bilang ng output token bawas isa:

e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)

Sakop ng time to first token ang network, pila at pagbasa ng prompt. Ang generation time ay ang lahat ng kasunod ng unang token: (output tokens − 1) × inter-token latency (ITL), o humigit-kumulang output tokens × ITL para sa mahabang sagot. Ayon sa NVIDIA, ang end-to-end latency ay “includes queueing, batching, and network latency.” (Salin ng BroadRouter: “kasama ang pila, batching at network latency.”)

Halimbawa gamit ang bilog na numero: sabihin nating nag-i-stream ang model ng 50 output token kada segundo. Ang sagot na 600 token ay 600 ÷ 50 = 12 segundo bago mabuo. Dagdagan ng isang segundong TTFT at mga 13 segundo ang request. Kapag hinati mo sa dalawa ang haba ng sagot, makakatipid ka ng 6 na segundo; kapag hinati mo ang TTFT, kalahating segundo lang. Dito, haba ng output ang nangingibabaw.

Sa isang application, bihirang nag-iisa ang request. Kasama rin sa latency na nararanasan sa screen ng user ang mga retry pagkatapos ng error, paghihintay ng concurrency slot, mga tool call sa pagitan ng mga turn ng model, at ang sarili mong code.

Bakit ito mahalaga

Pitong prinsipyo ang nakalista sa latency guide ng OpenAI: iproseso nang mas mabilis ang mga token, bumuo ng mas kaunting token, gumamit ng mas kaunting input token, gumawa ng mas kaunting request, mag-parallel, bawasan ang paghihintay ng user, at huwag agad gumamit ng LLM. Karamihan dito ay desisyon sa disenyo, hindi sa pagpili ng provider.

Mag-ulat ng percentile. Kapag 4 na segundo ang p50 at 30 segundo ang p95, isa sa bawat dalawampung user ang naghihintay nang kalahating minuto o higit pa. Itinatago ng average ang dulong iyon, at doon nakabatay ang mga timeout.

Magkasalungat ang hila ng latency at throughput. Ayon sa NVIDIA, habang dumarami ang sabay-sabay na request, tumataas ang kabuuang tokens per second ng system pero bumababa ang tokens per second kada user. Kayang magsilbi ng abalang provider sa mas maraming tao habang mas mabagal naman ang pakiramdam ng bawat isa.

Sa BroadNet Inference

Ayon sa plans page ng BroadNet, ang karaniwang bilis ay mga 100 token bawat segundo. Walang TTFT o percentile na latency figure sa docs nito. Pinapayagan ng isang pay-as-you-go key ang 4 na sabay-sabay na request; isa sa mga sanhi ng HTTP 429 na nakalista sa docs ang concurrency limit, at bawat retry pagkatapos nito ay dagdag na latency sa panig mo. Dapat may timeout at limitadong retry ang mahahabang agent run; tingnan ang timeouts at retries para sa long-running agents. Para sukatin ang bawat bahagi mula sa client, tingnan ang gabay sa LLM latency.

Mga tanong

Ano ang pagkakaiba ng latency at throughput?

Ang latency ay kung gaano katagal ang isang request. Ang throughput ay kung gaano karaming trabaho ang natatapos ng system kada segundo sa lahat ng request. Kayang taasan ng server ang throughput sa pag-batch ng mas maraming request habang bumabagal ang bawat isa.

Ano ang inter-token latency?

Ang average na pagitan ng mga output token pagkatapos ng una, tinatawag ding time per output token. Ayon sa depinisyon ng NVIDIA, ito ang end-to-end latency bawas ang TTFT, hinati sa bilang ng output token bawas isa.

Paano ko mapapababa ang latency ng LLM?

Bumuo ng mas kaunting output token, magpadala ng mas maiikling prompt, i-stream ang sagot para mas maagang makita ng user ang text, at patakbuhin nang parallel ang mga independent na call. Kasama ang mga ito sa pitong prinsipyo sa latency guide ng OpenAI.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity