FP8 वह 8-बिट नंबर फ़ॉर्मैट है जिसे ज़्यादातर नए GPU नेटिव रूप से समझते हैं। बड़े मॉडल को सर्व करते समय 16-बिट से नीचे का पहला क़दम अक्सर यही होता है।
यह कैसे काम करता है
फ़्लोटिंग-पॉइंट नंबर में एक साइन, एक एक्सपोनेंट और एक मैंटिसा होता है। Micikevicius और साथियों का FP8 पेपर दो लेआउट तय करता है, दोनों में एक साइन बिट:
| एन्कोडिंग | एक्सपोनेंट बिट | मैंटिसा बिट | समझौता |
|---|---|---|---|
| E4M3 | 4 | 3 | ज़्यादा प्रिसिज़न; vLLM अधिकतम ±448 बताता है |
| E5M2 | 5 | 2 | कम प्रिसिज़न; vLLM अधिकतम ±57,344 बताता है |
E5M2 ख़ास मानों के लिए IEEE 754 के नियम मानता है। E4M3 अपनी रेंज बढ़ाने के लिए इनफ़िनिटी छोड़ देता है और सिर्फ़ एक NaN पैटर्न रखता है। दोनों में सिर्फ़ 256 संभावित मान हैं, इसलिए एक स्केल फ़ैक्टर हर टेंसर को फ़ॉर्मैट की रेंज में लाता है।
क्वांटाइज़ेशन के लक्ष्य के रूप में FP8 आम तौर पर W8A8 के रूप में लगता है: वेट और एक्टिवेशन दोनों 8-बिट में, हर टेंसर या हर ब्लॉक के लिए एक स्केल फ़ैक्टर के साथ। पेपर बताता है कि 175B पैरामीटर तक के मॉडल पर FP8 ने 16-बिट ट्रेनिंग जितनी क्वालिटी दी। वह यह भी बताता है कि FP8 पोस्ट-ट्रेनिंग क्वांटाइज़ेशन उन लैंग्वेज मॉडल पर भी काम आया “that resisted fixed point int8 quantization” (अनुवाद: जिन पर फ़िक्स्ड-पॉइंट int8 क्वांटाइज़ेशन नहीं चल रहा था), क्योंकि एक्सपोनेंट आउटलायर को बेहतर सँभालता है।
FP8 दूसरे फ़ॉर्मैट के अंदर भी दिखता है। DeepSeek V4.1 Flash का DeepSeek कार्ड अपना मुख्य KV कैश 4-बिट फ़्लोट में रखता है, “one E4M3 scale per 16 channels” (अनुवाद: हर 16 चैनल पर एक E4M3 स्केल) के साथ।
यह क्यों मायने रखता है
vLLM के डॉक्स कहते हैं कि FP8 से “a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy.” (अनुवाद: मॉडल की मेमोरी ज़रूरत में 2 गुना कमी और थ्रूपुट में 1.6 गुना तक सुधार मिलता है, सटीकता पर बहुत कम असर के साथ।) प्रोवाइडर के लिए इसका मतलब है कि मॉडल कम GPU पर समा जाता है, या उन्हीं GPU पर एक साथ ज़्यादा अनुरोध चलते हैं, जिससे थ्रूपुट बढ़ता है और प्रति टोकन लागत घटती है।
API यूज़र के लिए FP8 क्वांटाइज़ेशन का हल्का सिरा है: vLLM सटीकता पर बहुत कम असर बताता है, फिर भी जिन कामों पर आप निर्भर हैं, उन्हें टेस्ट करें। यह INT4 से कम आक्रामक क़दम है, जो ज़्यादा मेमोरी बचाता है लेकिन मुश्किल कामों पर ज़्यादा जोखिम रखता है।
BroadNet Inference पर
BroadNet का मॉडल कैटलॉग बताता है कि उसका प्रोडक्शन Gemma 4 26B A4B बिल्ड KV कैश को FP8 में रखता है, और वेट INT4 AWQ में हैं। यह BroadNet का अपना विवरण है; API डॉक्स बाक़ी मॉडल का प्रिसिज़न नहीं बताते। अगर किसी ऑडिट या रेगुलेटेड वर्कफ़्लो के लिए सटीक नंबर फ़ॉर्मैट मायने रखता है, तो सीधे BroadNet से पूछें। आपके बिल पर जो असर डालता है, उसके लिए प्राइसिंग पेज पर प्रति-टोकन कीमतें देखें।