Ang latency ang numerong nararamdaman ng user. Ito rin ang madalas gumulat sa mga team na lumilipat mula demo papuntang production.
Paano ito gumagana
Ibinibigay ng metrics guide ng NVIDIA ang pangunahing formula para sa isang request: ang end-to-end latency ay TTFT dagdag ang generation time, at ang inter-token latency (ITL) ay ang natitirang oras pagkatapos ng TTFT na hinati sa bilang ng output token bawas isa:
e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)
Sakop ng time to first token ang network, pila at pagbasa ng prompt. Ang generation time ay ang lahat ng kasunod ng unang token: (output tokens − 1) × inter-token latency (ITL), o humigit-kumulang output tokens × ITL para sa mahabang sagot. Ayon sa NVIDIA, ang end-to-end latency ay “includes queueing, batching, and network latency.” (Salin ng BroadRouter: “kasama ang pila, batching at network latency.”)
Halimbawa gamit ang bilog na numero: sabihin nating nag-i-stream ang model ng 50 output token kada segundo. Ang sagot na 600 token ay 600 ÷ 50 = 12 segundo bago mabuo. Dagdagan ng isang segundong TTFT at mga 13 segundo ang request. Kapag hinati mo sa dalawa ang haba ng sagot, makakatipid ka ng 6 na segundo; kapag hinati mo ang TTFT, kalahating segundo lang. Dito, haba ng output ang nangingibabaw.
Sa isang application, bihirang nag-iisa ang request. Kasama rin sa latency na nararanasan sa screen ng user ang mga retry pagkatapos ng error, paghihintay ng concurrency slot, mga tool call sa pagitan ng mga turn ng model, at ang sarili mong code.
Bakit ito mahalaga
Pitong prinsipyo ang nakalista sa latency guide ng OpenAI: iproseso nang mas mabilis ang mga token, bumuo ng mas kaunting token, gumamit ng mas kaunting input token, gumawa ng mas kaunting request, mag-parallel, bawasan ang paghihintay ng user, at huwag agad gumamit ng LLM. Karamihan dito ay desisyon sa disenyo, hindi sa pagpili ng provider.
Mag-ulat ng percentile. Kapag 4 na segundo ang p50 at 30 segundo ang p95, isa sa bawat dalawampung user ang naghihintay nang kalahating minuto o higit pa. Itinatago ng average ang dulong iyon, at doon nakabatay ang mga timeout.
Magkasalungat ang hila ng latency at throughput. Ayon sa NVIDIA, habang dumarami ang sabay-sabay na request, tumataas ang kabuuang tokens per second ng system pero bumababa ang tokens per second kada user. Kayang magsilbi ng abalang provider sa mas maraming tao habang mas mabagal naman ang pakiramdam ng bawat isa.
Sa BroadNet Inference
Ayon sa plans page ng BroadNet, ang karaniwang bilis ay mga 100 token bawat segundo. Walang TTFT o percentile na latency figure sa docs nito. Pinapayagan ng isang pay-as-you-go key ang 4 na sabay-sabay na request; isa sa mga sanhi ng HTTP 429 na nakalista sa docs ang concurrency limit, at bawat retry pagkatapos nito ay dagdag na latency sa panig mo. Dapat may timeout at limitadong retry ang mahahabang agent run; tingnan ang timeouts at retries para sa long-running agents. Para sukatin ang bawat bahagi mula sa client, tingnan ang gabay sa LLM latency.