BroadRouter
Magsimula

FP8

Na-update

Ang FP8 ay isang 8-bit floating-point na number format na ginagamit sa deep learning, na may dalawang encoding: E4M3, na may 4 na exponent bit at 3 mantissa bit, at E5M2, na may 5 exponent bit at 2 mantissa bit. Kalahati ang memory nito kumpara sa mga 16-bit format at native itong tumatakbo sa mga bagong GPU.

Tinatawag ding: 8-bit floating point, E4M3, E5M2, FP8 quantization, W8A8 FP8

Ang FP8 ang 8-bit na number format na native na sinasalita ng karamihan sa mga bagong GPU. Madalas itong unang hakbang pababa mula 16-bit kapag nagse-serve ng malaking model.

Paano ito gumagana

May sign, exponent at mantissa ang isang floating-point na numero. Dalawang layout ang tinukoy ng FP8 paper nina Micikevicius et al., na tig-iisang sign bit:

Encoding Mga exponent bit Mga mantissa bit Trade-off
E4M3 4 3 Mas maraming precision; ±448 ang maximum ayon sa vLLM
E5M2 5 2 Mas kaunting precision; ±57,344 ang maximum ayon sa vLLM

Sinusunod ng E5M2 ang mga patakaran ng IEEE 754 para sa mga special value. Isinusuko ng E4M3 ang mga infinity at iisang NaN pattern lang ang pinananatili para mapalawak ang range nito. Parehong 256 lang ang posibleng value nila, kaya may scale factor na nagma-map sa bawat tensor papunta sa range na sakop ng format.

Bilang target ng quantization, kadalasang ina-apply ang FP8 bilang W8A8: parehong 8-bit ang weights at activations, na may scale factor kada tensor o kada block. Iniuulat ng paper na kapantay ng FP8 ang kalidad ng 16-bit training sa mga model hanggang 175B parameter. Binabanggit din nito na gumana ang FP8 post-training quantization sa mga language model “that resisted fixed point int8 quantization” (Salin ng BroadRouter: “na hindi tumalab sa fixed-point int8 quantization”), dahil mas kaya ng exponent ang mga outlier.

Lumalabas din ang FP8 sa loob ng ibang format. Ayon sa card ng DeepSeek para sa DeepSeek V4.1 Flash, iniimbak nito ang pangunahing KV cache sa 4-bit float na may “one E4M3 scale per 16 channels” (isang E4M3 scale kada 16 na channel).

Bakit ito mahalaga

Sinasabi ng docs ng vLLM na nagbibigay ang FP8 ng “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.” (Salin ng BroadRouter: “2x na pagbaba sa memory na kailangan ng model at hanggang 1.6x na pagbuti ng throughput na may kaunting epekto lang sa accuracy.”) Para sa provider, ibig sabihin nito ay kasya ang model sa mas kaunting GPU, o mas maraming request nang sabay ang kaya ng parehong mga GPU, na nagpapataas ng throughput at nagpapababa ng gastos kada token.

Para sa API user, ang FP8 ang banayad na dulo ng quantization: kaunting epekto lang sa accuracy ang iniuulat ng vLLM, pero dapat mo pa ring i-test ang mga task na inaasahan mo. Mas hindi ito agresibo kaysa sa INT4, na mas malaki ang natitipid na memory pero mas mapanganib sa mahihirap na task.

Sa BroadNet Inference

Sinasabi ng model catalogue ng BroadNet na iniimbak ng production build nito ng Gemma 4 26B A4B ang KV cache sa FP8, na may INT4 AWQ na weights. Paglalarawan iyan ng BroadNet mismo; hindi sinasabi ng API docs ang precision ng ibang model. Kung mahalaga ang eksaktong number format para sa isang audit o regulated na workflow, direktang magtanong sa BroadNet. Para sa talagang nakakaapekto sa bill mo, tingnan ang mga per-token na presyo sa pricing page.

Mga tanong

Pareho ba ang FP8 at INT8?

Hindi. Parehong 8 bit ang gamit nila, pero naglalaan ang FP8 ng ilang bit sa exponent, kaya mas malawak ang saklaw nitong magnitude pero mas kaunti ang precision sa pagitan. Pantay-pantay ang pagitan ng 256 na level ng INT8 at mas nakadepende ito sa magandang scale factor.

Aling mga GPU ang sumusuporta sa FP8?

Nakalista sa docs ng vLLM ang FP8 compute sa mga NVIDIA GPU na may compute capability 8.9 pataas (Ada Lovelace, Hopper, Blackwell) at sa AMD MI300x. Kayang mag-load ng FP8 weights ang mas lumang Turing at Ampere card pero sa 16-bit sila nagko-compute.

Paano naiiba ang FP8 sa INT4?

Gumagamit ang FP8 ng 8 bit na may exponent at kadalasang ina-apply sa weights at activations. Gumagamit ang INT4 ng 16 na pantay ang pagitan na integer level at kadalasang sa weights lang ina-apply. Mas malaki ang natitipid na memory sa INT4; mas mababa ang panganib sa accuracy sa FP8.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity