BroadRouter
Commencer

FP8

Mis à jour

Le FP8 est un format de nombres à virgule flottante sur 8 bits utilisé en deep learning, défini en deux encodages : E4M3, avec 4 bits d’exposant et 3 de mantisse, et E5M2, avec 5 bits d’exposant et 2 de mantisse. Il divise par deux la mémoire par rapport aux formats 16 bits et s’exécute nativement sur les GPU récents.

Aussi appelé : FP8, virgule flottante 8 bits, flottant 8 bits, quantification FP8, E4M3, E5M2, W8A8 FP8, 8-bit floating point, FP8 quantization

Le FP8 est le format numérique 8 bits que la plupart des GPU récents gèrent nativement. C’est souvent la première étape en dessous du 16 bits quand on sert un grand modèle.

Comment ça marche

Un nombre à virgule flottante se compose d’un signe, d’un exposant et d’une mantisse. L’article sur le FP8 de Micikevicius et al. définit deux dispositions, chacune avec un bit de signe :

Encodage Bits d’exposant Bits de mantisse Compromis
E4M3 4 3 Plus de précision ; vLLM indique un maximum de ±448
E5M2 5 2 Moins de précision ; vLLM indique un maximum de ±57 344

L’E5M2 suit les règles IEEE 754 pour les valeurs spéciales. L’E4M3 renonce aux infinis et ne garde qu’un seul motif NaN pour étendre sa plage. Les deux n’ont que 256 valeurs possibles : un facteur d’échelle ramène donc chaque tenseur dans la plage couverte par le format.

Comme cible de quantification, le FP8 s’applique généralement en W8A8 : poids et activations en 8 bits, avec un facteur d’échelle par tenseur ou par bloc. L’article rapporte que le FP8 égale la qualité d’entraînement du 16 bits sur des modèles jusqu’à 175B paramètres. Il note aussi que la quantification FP8 après entraînement a fonctionné sur des modèles de langage « that resisted fixed point int8 quantization » (traduction : « qui résistaient à la quantification int8 en virgule fixe »), car l’exposant gère mieux les valeurs aberrantes.

Le FP8 apparaît aussi à l’intérieur d’autres formats. La fiche de DeepSeek V4.1 Flash indique que son cache KV principal est stocké en flottants 4 bits avec « one E4M3 scale per 16 channels » (traduction : « une échelle E4M3 pour 16 canaux »).

Pourquoi c’est important

La documentation de vLLM indique que le FP8 apporte « a 2x reduction in model memory requirements and up to a 1.6x improvement in throughput with minimal impact on accuracy » (traduction : « une division par deux des besoins en mémoire du modèle et jusqu’à 1,6 fois plus de débit, avec un impact minimal sur la précision »). Pour un fournisseur, cela veut dire qu’un modèle tient sur moins de GPU, ou que les mêmes GPU traitent plus de requêtes à la fois, ce qui augmente le débit et réduit le coût par token.

Pour un utilisateur d’API, le FP8 est la forme douce de la quantification : vLLM rapporte un impact minimal sur la précision, mais testez quand même les tâches dont vous dépendez. C’est une étape moins agressive que l’INT4, qui économise plus de mémoire mais comporte plus de risques sur les tâches difficiles.

Sur BroadNet Inference

Le catalogue de modèles de BroadNet indique que son build de production de Gemma 4 26B A4B stocke le cache KV en FP8, avec des poids INT4 AWQ. C’est la description de BroadNet lui-même ; la documentation de l’API ne précise pas la précision des autres modèles. Si un format numérique exact compte pour un audit ou un processus réglementé, demandez directement à BroadNet. Pour ce qui pèse réellement sur votre facture, consultez les prix au token sur la page des tarifs.

Questions fréquentes

Le FP8 est-il la même chose que l’INT8 ?

Non. Les deux utilisent 8 bits, mais le FP8 consacre une partie de ses bits à un exposant : il couvre donc une plage de grandeurs plus large, avec moins de précision entre elles. L’INT8 répartit ses 256 niveaux de façon uniforme et dépend davantage de bons facteurs d’échelle.

Quels GPU prennent en charge le FP8 ?

La documentation de vLLM indique le calcul en FP8 sur les GPU NVIDIA de compute capability 8.9 ou plus (Ada Lovelace, Hopper, Blackwell) et sur l’AMD MI300x. Les cartes Turing et Ampere plus anciennes peuvent charger des poids FP8, mais calculent en 16 bits.

En quoi le FP8 diffère-t-il de l’INT4 ?

Le FP8 utilise 8 bits avec un exposant et s’applique en général aux poids et aux activations. L’INT4 utilise 16 niveaux entiers régulièrement espacés et s’applique en général aux seuls poids. L’INT4 économise plus de mémoire ; le FP8 présente moins de risque pour la précision.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity