Ang GPU-hour ang unit na binabayaran mo kapag umuupa ka ng hardware. Itinatago ito ng per-token na API; sa self-hosted na model, ito na ang buong bill.
Paano ito gumagana
Kada oras ang presyo ng mga cloud provider sa mga GPU instance, tapos mas pino pa ang pagsukat. Sinasabi ng on-demand page ng AWS na ang presyo ay “per instance-hour consumed” (kada instance-hour na nagamit), at sa Linux, kada segundo sinisingil ang bahagi ng oras na may 60-segundong minimum. Naniningil ang Google Cloud ng 1-minutong minimum para sa “all vCPUs, GPUs, and GB of memory” (lahat ng vCPU, GPU at GB ng memory), tapos 1-segundong increment. Ang isang instance na may 8 GPU na tumakbo nang 3 oras ay 24 GPU-hours.
Tumatakbo ang metro habang naka-on ang instance, hindi habang may silbi ito. Pareho ang gastos ng idle na GPU nang alas-tres ng madaling-araw at ng abalang GPU.
Ginagamit din ng mga researcher ang parehong unit para sa compute. Halimbawa, kina-quantize ng GPTQ paper ang isang model na may 175B parameter “in approximately four GPU hours” (sa mga apat na GPU hour).
Bakit ito mahalaga
Para ikumpara ang GPU-hour sa per-token na presyo, i-convert gamit ang throughput:
cost per 1M output tokens = hourly GPU cost ÷ (tokens per second × 3,600 ÷ 1,000,000)
Ang problema ay nasa denominator. Nakadepende ang throughput sa model, precision, batch size at kung gaano kaabala ang GPU. Ang inuupahang GPU na nasa 20% load ay limang beses ang gastos kada token kumpara sa parehong GPU na nasa full load. Iyan ang pangunahing dahilan kung bakit gumagamit ng API ang mga team na hindi pantay ang traffic; tingnan ang gastos ng self-hosting vs API.
Sa BroadNet Inference
Hindi umuupa ng GPU kada oras ang BroadNet. Nagbebenta ito ng API access sa mga model nito; ayon sa Terms nito, tumatakbo ang mga ito sa hardware na pag-aari o inuupahan ng BroadNet sa United States, o kasama ang mga US inference partner. Dalawa sa mga opsyon nito ang may presyo kada oras, at hindi GPU-hour ang alinman sa dalawa:
| GPU-hour (cloud rental) | Hourly key ng BroadNet | Meteor plan | |
|---|---|---|---|
| Ano ang makukuha mo | Isang buong GPU at ang makinang nakapaligid dito | Isang stream sa isang shared na model | Isang session sa isang shared na model |
| Model | Kahit anong kasya | BroadNet Gemma 4 VL 26B lang | DeepSeek V4.1 Flash lang |
| Mga limit (ayon sa docs ng BroadNet) | Ang hardware | 120 request/min, 300,000 token/min, 1 stream | Isang request sa isang pagkakataon, walang token meter |
| Presyo | Itinatakda ng cloud | $0.50 kada oras | $1 kada oras kada session |
Hindi mo kailangang asikasuhin ang mga driver, scaling o idle time sa alinmang opsyon ng BroadNet, pero hindi mo rin mapipili ang hardware o makakapag-load ng ibang model. Kung patatakbuhin ang hourly key buong buwan, $0.50 × 24 × 30 = $360.00 iyon. Para sa mga detalye, tingnan ang paliwanag sa mga hourly LLM API key at ang entry ng flat-rate plan.