BroadRouter
Magsimula

INT4

Na-update

Ang INT4 ay 4-bit na integer number format na kayang mag-represent ng 16 na level. Sa LLM inference, kadalasan itong tumutukoy sa 4-bit weight-only quantization (W4A16): iniimbak ang weights bilang INT4 kasama ng mga scale factor at pinalalawak sa 16-bit habang nagkukuwenta, kaya mga sangkapat lang ng memory ng 16-bit na weights ang gamit.

Tinatawag ding: 4-bit quantization, W4A16, 4-bit integer, INT4 weight-only, 4-bit LLM, 4-bit na model

Sa INT4, nagiging agresibo na ang quantization: 16 na posibleng value lang ang bawat weight.

Paano ito gumagana

Inilalarawan ng precision guide ng TensorRT-LLM ang karaniwang anyo, ang W4A16: kino-quantize ang weights sa 4 bit at dine-dequantize “on-the-fly” (Salin ng BroadRouter: “habang tumatakbo”) sa loob ng matrix multiply, habang nananatili sa FP16 o BF16 ang activations. Sinusuportahan ng TensorRT-LLM ang per-group na scaling factor: may sariling scale ang bawat maliit na grupo ng weights para masakop ng 16 na level ang tamang range. Nagse-save ang INT4 example ng vLLM ng W4A16-G128 na checkpoint, isang grupo kada 128 weight.

Masyadong maraming nawawala sa simpleng pag-round sa 16 na level, kaya mas matalino ang mga sikat na method:

  • GPTQ: gumagamit ng approximate na second-order information para piliin ang mga rounding na naglilimita sa error ng output. Iniuulat ng paper ang 3 o 4 na bit kada weight na halos walang nawawala, sapat para patakbuhin ang isang 175B na model sa iisang GPU.
  • AWQ: napansin nitong “not all weights in an LLM are equally important.” (Salin ng BroadRouter: “hindi pare-pareho ang halaga ng lahat ng weights sa isang LLM.”) Malaki ang nababawas sa error kapag pinoprotektahan ang mga 1% ng mahahalagang channel, na nahahanap mula sa activation statistics. Iniuulat ng TinyChat runtime nito ang higit sa 3 beses na pagbilis para sa mga 4-bit na model sa mga device.

Bakit ito mahalaga

Malaki ang natitipid na memory. Sa 0.5 byte kada weight, sangkapat ng 16-bit na laki ang weights ng isang model. Para sa model na may 25.2B parameter: 25.2B × 2 byte = 50.4 GB sa BF16, laban sa 25.2B × 0.5 byte = 12.6 GB sa INT4, plus kaunti para sa mga scale factor. Kadalasang limitado ang bilis ng generation sa kung gaano kabilis dumadaloy ang weights mula sa memory, kaya puwede ring bawasan ng 4-bit na weights ang latency. Ayon sa docs ng vLLM, pinakakapaki-pakinabang ang INT4 W4A16 para panatilihing mababa ang latency “in workloads with low queries per second” (Salin ng BroadRouter: “sa mga workload na mababa ang queries per second”). Sa mataas na load, mas bumibigat ang gastos ng pag-dequantize ng weights at lumiliit ang pakinabang.

Dahil 16 na level lang, mas malaki ang rounding error kaysa sa FP8, kaya nga may GPTQ at AWQ. Puwedeng itago ng average na benchmark score ang mga pagbaba sa mga task na mahalaga sa iyo, gaya ng mahabang reasoning, eksaktong arithmetic, code o isang hindi gaanong karaniwang wika. Kung mas mahina ang INT4 build kaysa sa 16-bit na bersyon sa sarili mong test set, paniwalaan ang test mo.

Madalas na kandidato sa INT4 ang mga mixture-of-experts na model, dahil kailangang magkasya sa memory ang lahat ng expert kahit kakaunti lang ang tumatakbo kada token.

Sa BroadNet Inference

Sinasabi ng model catalogue ng BroadNet na AWQ 4-bit na weights ang gamit ng production build nito ng Gemma 4 26B A4B (API ID broadnet/gemma-4-26b-a4b), kasama ang multi-token prediction at FP8 na KV cache. Sariling paglalarawan iyon ng BroadNet; hindi sinasabi ng API docs ang precision ng ibang model. Kung pumipili ka sa pagitan ng pag-self-host ng 4-bit na model at pagtawag sa isang API, makakatulong ang paghahambing ng gastos sa self-hosting at ang LLM API cost calculator para ikumpara ang kabuuan.

Mga tanong

Gaano kalaking memory ang natitipid ng INT4?

Kalahating byte na lang ang bawat weight sa halip na dalawa, kaya mga sangkapat ng 16-bit na laki, plus maliit na overhead para sa mga scale factor. Ang model na may 25.2B parameter ay bumababa mula mga 50.4 GB hanggang mga 12.6 GB ng weights.

Pareho ba ang INT4 at NF4 o FP4?

Hindi. Lahat sila ay 4 bit, pero hindi pantay ang pagkakalatag ng 16 na level ng NF4 at FP4, samantalang pantay ang pagitan sa INT4. FP4 at NF4 ang inaalok ng bitsandbytes integration ng Hugging Face; kadalasang INT4 ang gamit ng mga GPTQ at AWQ checkpoint.

Pinapabilis ba ng INT4 ang model?

Madalas, kapag mababa ang load, dahil limitado ang generation sa pagbasa ng weights mula sa memory at mas maliit ang 4-bit na weights. Ayon sa docs ng vLLM, pinakanakatutulong ang INT4 W4A16 sa mga workload na mababa ang queries per second; kapag mabigat ang load, lumiliit ang pakinabang.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity