BroadRouter
Commencer

INT4 (quantification 4 bits)

Mis à jour

INT4 est un format d’entier sur 4 bits qui représente 16 niveaux. En inférence de LLM, il désigne en général la quantification des poids seuls sur 4 bits (W4A16) : les poids sont stockés en INT4 avec des facteurs d’échelle et repassés en 16 bits pendant le calcul, pour environ un quart de la mémoire de poids en 16 bits.

Aussi appelé : INT4, quantification 4 bits, entier 4 bits, LLM 4 bits, W4A16, INT4 weight-only, 4-bit quantization, 4-bit integer, 4-bit LLM

Avec INT4, la quantification devient agressive : chaque poids n’a plus que 16 valeurs possibles.

Comment ça marche

Le guide de précision de TensorRT-LLM décrit la forme courante, W4A16 : les poids sont quantifiés sur 4 bits et déquantifiés « on-the-fly » (à la volée) dans la multiplication matricielle, tandis que les activations restent en FP16 ou BF16. TensorRT-LLM prend en charge des facteurs d’échelle par groupe : chaque petit groupe de poids reçoit sa propre échelle, pour que les 16 niveaux couvrent la bonne plage. L’exemple INT4 de vLLM enregistre un checkpoint W4A16-G128, soit un groupe pour 128 poids.

Arrondir simplement à 16 niveaux fait perdre trop d’information, d’où des méthodes plus astucieuses :

  • GPTQ utilise une information approchée du second ordre pour choisir des arrondis qui limitent l’erreur en sortie. L’article rapporte 3 ou 4 bits par poids avec une perte négligeable, assez pour faire tourner un modèle de 175 milliards de paramètres sur un seul GPU.
  • AWQ part du constat que « not all weights in an LLM are equally important » (traduction : « tous les poids d’un LLM n’ont pas la même importance »). Protéger environ 1 % de canaux saillants, repérés grâce aux statistiques d’activation, réduit fortement l’erreur. Son runtime TinyChat annonce une accélération de plus de 3 fois pour les modèles 4 bits sur appareil.

Pourquoi c’est important

Le gain de mémoire est important. À 0,5 octet par poids, les poids d’un modèle occupent un quart de leur taille en 16 bits. Pour un modèle de 25,2 milliards de paramètres : 25,2 milliards × 2 octets = 50,4 Go en BF16, contre 25,2 milliards × 0,5 octet = 12,6 Go en INT4, plus un peu pour les facteurs d’échelle. La vitesse de génération est souvent limitée par le débit de lecture des poids en mémoire : des poids sur 4 bits peuvent donc aussi réduire la latence. La documentation de vLLM indique qu’INT4 W4A16 est surtout utile pour garder une latence faible « in workloads with low queries per second » (traduction : « dans les charges avec peu de requêtes par seconde »). À forte charge, le coût de la déquantification des poids pèse davantage et le gain diminue.

Avec seulement 16 niveaux, l’erreur d’arrondi est plus grande qu’en FP8, et c’est précisément pour cela que GPTQ et AWQ existent. Un score moyen de benchmark peut masquer des pertes sur les tâches qui vous importent, comme le raisonnement long, l’arithmétique exacte, le code ou une langue moins courante. Si une version INT4 fait moins bien que la version 16 bits sur votre propre jeu de test, fiez-vous à votre test.

Les modèles mixture of experts sont souvent candidats à INT4, car tous les experts doivent tenir en mémoire même si peu d’entre eux tournent pour chaque token.

Sur BroadNet Inference

Le catalogue des modèles de BroadNet indique que sa version de production de Gemma 4 26B A4B (ID d’API broadnet/gemma-4-26b-a4b) utilise des poids AWQ 4 bits, avec multi-token prediction et un cache KV en FP8. C’est la description de BroadNet elle-même ; la documentation de l’API n’indique pas la précision des autres modèles. Si vous hésitez entre auto-héberger un modèle 4 bits et appeler une API, la comparaison des coûts d’auto-hébergement et le calculateur de coût d’API LLM vous aident à comparer les totaux.

Questions fréquentes

Combien de mémoire INT4 fait-il gagner ?

Chaque poids occupe un demi-octet au lieu de deux, soit environ un quart de la taille en 16 bits, plus un léger surcoût pour les facteurs d’échelle. Un modèle de 25,2 milliards de paramètres passe d’environ 50,4 Go à environ 12,6 Go de poids.

INT4 est-il la même chose que NF4 ou FP4 ?

Non. Tous trois utilisent 4 bits, mais NF4 et FP4 répartissent leurs 16 niveaux de façon inégale, alors qu’INT4 les espace régulièrement. L’intégration bitsandbytes de Hugging Face propose FP4 et NF4 ; les checkpoints GPTQ et AWQ utilisent généralement INT4.

INT4 rend-il un modèle plus rapide ?

Souvent à faible charge, car la génération est limitée par la lecture des poids en mémoire et les poids sur 4 bits sont plus petits. La documentation de vLLM indique qu’INT4 W4A16 aide surtout pour les charges avec peu de requêtes par seconde ; sous forte charge, le gain diminue.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity