Sa INT4, nagiging agresibo na ang quantization: 16 na posibleng value lang ang bawat weight.
Paano ito gumagana
Inilalarawan ng precision guide ng TensorRT-LLM ang karaniwang anyo, ang W4A16: kino-quantize ang weights sa 4 bit at dine-dequantize “on-the-fly” (Salin ng BroadRouter: “habang tumatakbo”) sa loob ng matrix multiply, habang nananatili sa FP16 o BF16 ang activations. Sinusuportahan ng TensorRT-LLM ang per-group na scaling factor: may sariling scale ang bawat maliit na grupo ng weights para masakop ng 16 na level ang tamang range. Nagse-save ang INT4 example ng vLLM ng W4A16-G128 na checkpoint, isang grupo kada 128 weight.
Masyadong maraming nawawala sa simpleng pag-round sa 16 na level, kaya mas matalino ang mga sikat na method:
- GPTQ: gumagamit ng approximate na second-order information para piliin ang mga rounding na naglilimita sa error ng output. Iniuulat ng paper ang 3 o 4 na bit kada weight na halos walang nawawala, sapat para patakbuhin ang isang 175B na model sa iisang GPU.
- AWQ: napansin nitong “not all weights in an LLM are equally important.” (Salin ng BroadRouter: “hindi pare-pareho ang halaga ng lahat ng weights sa isang LLM.”) Malaki ang nababawas sa error kapag pinoprotektahan ang mga 1% ng mahahalagang channel, na nahahanap mula sa activation statistics. Iniuulat ng TinyChat runtime nito ang higit sa 3 beses na pagbilis para sa mga 4-bit na model sa mga device.
Bakit ito mahalaga
Malaki ang natitipid na memory. Sa 0.5 byte kada weight, sangkapat ng 16-bit na laki ang weights ng isang model. Para sa model na may 25.2B parameter: 25.2B × 2 byte = 50.4 GB sa BF16, laban sa 25.2B × 0.5 byte = 12.6 GB sa INT4, plus kaunti para sa mga scale factor. Kadalasang limitado ang bilis ng generation sa kung gaano kabilis dumadaloy ang weights mula sa memory, kaya puwede ring bawasan ng 4-bit na weights ang latency. Ayon sa docs ng vLLM, pinakakapaki-pakinabang ang INT4 W4A16 para panatilihing mababa ang latency “in workloads with low queries per second” (Salin ng BroadRouter: “sa mga workload na mababa ang queries per second”). Sa mataas na load, mas bumibigat ang gastos ng pag-dequantize ng weights at lumiliit ang pakinabang.
Dahil 16 na level lang, mas malaki ang rounding error kaysa sa FP8, kaya nga may GPTQ at AWQ. Puwedeng itago ng average na benchmark score ang mga pagbaba sa mga task na mahalaga sa iyo, gaya ng mahabang reasoning, eksaktong arithmetic, code o isang hindi gaanong karaniwang wika. Kung mas mahina ang INT4 build kaysa sa 16-bit na bersyon sa sarili mong test set, paniwalaan ang test mo.
Madalas na kandidato sa INT4 ang mga mixture-of-experts na model, dahil kailangang magkasya sa memory ang lahat ng expert kahit kakaunti lang ang tumatakbo kada token.
Sa BroadNet Inference
Sinasabi ng model catalogue ng BroadNet na AWQ 4-bit na weights ang gamit ng production build nito ng Gemma 4 26B A4B (API ID broadnet/gemma-4-26b-a4b), kasama ang multi-token prediction at FP8 na KV cache. Sariling paglalarawan iyon ng BroadNet; hindi sinasabi ng API docs ang precision ng ibang model. Kung pumipili ka sa pagitan ng pag-self-host ng 4-bit na model at pagtawag sa isang API, makakatulong ang paghahambing ng gastos sa self-hosting at ang LLM API cost calculator para ikumpara ang kabuuan.