---
title: "Uno sur Gemma 4 26B MoE : étude BroadNet et DOI | BroadRouter"
description: "BroadNet a entraîné le premier adaptateur Uno d’auto-drafting pour un modèle mixture of experts, Gemma 4 26B A4B. Mesures, intérêt de l’auto-drafting et DOI."
url: https://broadrouter.com/fr/blog/uno-mixture-of-experts-gemma-4-study/
lang: fr
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduit de l’anglais avec l’aide de l’IA. [Lire l’original en anglais](https://broadrouter.com/blog/uno-mixture-of-experts-gemma-4-study/) (mis à jour le 2026-11-16).

# Uno sur Gemma 4 26B : l’étude mixture of experts de BroadNet

Par l’équipe BroadNet Inference · 3 min de lecture · Publié 2026-11-15 · Mis à jour 2026-11-16

Le preprint de BroadNet de septembre 2026 (DOI 10.5281/zenodo.22820511) entraîne le premier adaptateur Uno pour un modèle mixture of experts, Gemma 4 26B A4B servi en 4 bits. L’adaptateur décode 1,166 fois plus vite que le décodage simple sur une charge de production de 72 prompts, derrière deux drafters séparés à 1,474 et 1,553, mais devance le drafter de production à environ 10 500 tokens de contexte.

## À retenir

-   Preprint sur Zenodo, DOI 10.5281/zenodo.22820511, version 2.3, 18 septembre 2026, CC BY 4.0. Non évalué par les pairs.
-   Cible : Gemma 4 26B A4B, la base de BroadNet Gemma 4 VL 26B, servi avec des poids en 4 bits.
-   Un adaptateur de rang 16 entraîné sur 965 lignes a fait passer la part de drafts acceptés de 42,4 % à 48,9 %.
-   Accélération par rapport au décodage simple : 1,166x pour l’adaptateur Uno, 1,474x pour un drafter multi-token prediction, 1,553x pour un drafter par blocs.
-   À environ 10 500 tokens de contexte, l’adaptateur devançait le drafter de production, 1,089x contre 1,011x.

**Sur cette page**

1.  Quelle était la question ?
2.  Comment BroadNet l’a-t-il testé ?
3.  Qu’a-t-il trouvé ?
4.  Qu’est-ce que cela signifie en pratique ?
5.  Quelles sont les limites ?

Le deuxième preprint de BroadNet sur Uno applique pour la première fois l’auto-drafting à un modèle [mixture of experts](https://broadrouter.com/fr/glossary/mixture-of-experts/). Publié sur Zenodo le 18 septembre 2026 sous le DOI [10.5281/zenodo.22820511](https://doi.org/10.5281/zenodo.22820511), il sert Gemma 4 26B A4B en 4 bits et entraîne un adaptateur Uno pour ce modèle. La cible est le même modèle de base que [BroadNet Gemma 4 VL 26B](https://broadrouter.com/fr/models/gemma-4-vl-26b/) sur BroadNet Inference.

Il fait suite à [l’étude Uno dans vLLM](https://broadrouter.com/fr/blog/uno-in-vllm-serving-study/), qui testait un modèle dense de 8B. Les chiffres ci-dessous sont ceux de BroadNet ; nous ne les avons pas reproduits.

## Quelle était la question ?

Le speculative decoding rédige plusieurs tokens à l’avance et les vérifie en une passe. Sur un modèle mixture of experts, il y a une inquiétude de plus : les lignes de draft peuvent être routées vers des experts différents, si bien que rédiger quatre tokens pourrait lire bien plus de poids d’experts que d’en générer un seul. L’article se demande si cet « éventail d’experts » rend l’auto-drafting trop coûteux, et quand l’auto-drafting bat un drafter séparé.

## Comment BroadNet l’a-t-il testé ?

D’après le résumé de l’article et la description de méthode de BroadNet :

-   **Modèle :** Gemma 4 26B A4B, environ 4B paramètres actifs par token, avec des poids en 4 bits.
-   **Matériel :** GPU de la classe 24 Go, une séquence à la fois.
-   **Charge :** 72 prompts issus du trafic de production de BroadNet ; chaque accélération est divisée par une exécution en décodage simple dans la même session.
-   **Contexte long :** un jeu séparé de cinq prompts d’environ 10 500 tokens.
-   **Adaptateur :** rang 16, entraîné sur 965 lignes via le même checkpoint 4 bits que celui servi, sur un seul GPU de 24 Go, sans poids en pleine précision dans la boucle.

## Qu’a-t-il trouvé ?

| Comment Gemma 4 26B A4B a été décodé | Accélération par rapport au décodage simple |
| --- | --- |
| Décodage simple | 1,000 |
| Adaptateur pilote Uno, largeur 4 | 1,166 |
| Drafter multi-token prediction, largeur 2 | 1,474 |
| Drafter par blocs, largeur 8 | 1,553 |
| Uno à environ 10 500 tokens de contexte | 1,089 (drafter MTP : 1,011) |

Autres résultats rapportés par BroadNet :

-   **L’entraînement a aidé.** La part acceptée est passée de 42,4 % à 48,9 % en 1 500 mises à jour, et un corpus plus grand de 2 000 lignes, entraîné avec la même recette, a fait accepter 0,49 token de draft de plus par étape de vérification que l’exécution de référence équivalente.
-   **L’éventail d’experts est réel mais bon marché.** Quatre lignes de draft touchaient 22 experts distincts contre 8 pour une seule ligne, mais le coût total lié aux lignes restait borné à 0,53 étape sur un cycle d’environ 2,4. BroadNet conclut que le coût du routage est « worth under a fifth of a cycle » (traduction : « inférieur à un cinquième de cycle ») sur cette classe de matériel.
-   **Sans perte.** BroadNet a construit une vérification pour un profil dont la sortie simple ne se reproduit pas d’une session à l’autre, et rapporte Uno « as close to plain as plain is to itself » (traduction : « aussi proche du décodage simple que celui-ci l’est de lui-même »).
-   **Cinq langues.** L’article fournit ce qu’il présente comme la première mesure du taux d’acceptation de cet adaptateur dans cinq langues.

## Qu’est-ce que cela signifie en pratique ?

La règle de l’article est simple : s’il existe un bon petit drafter pour votre modèle, utilisez-le ; l’auto-drafting trouve sa place en contexte long et sur les modèles sans drafter. Cela correspond à ce que BroadNet dit exploiter : son catalogue indique Gemma 4 26B en production avec un drafter multi-token prediction (k=2), avec « 90%+ acceptance on structured prompts » (traduction : « plus de 90 % d’acceptation sur des prompts structurés »).

Combien un drafter apporte-t-il en production ? Le catalogue de BroadNet rapporte que la multi-token prediction a ajouté 48,8 % sur une RTX 3090, et sa page Gemma 4 VL 26B indique environ 136 tokens par seconde sur un seul flux avec le speculative decoding activé. Ce sont deux mesures de BroadNet, sur la configuration de service décrite sur sa page modèle : votre vitesse via l’API dépend donc aussi de la charge et de la longueur de votre prompt et de la réponse.

Pour qui achète une API, la partie utile est la méthode, pas l’adaptateur. BroadNet dit que chaque modèle qu’il sert passe par ce calcul avant d’arriver chez un client : mesurer le coût d’un cycle de draft, puis choisir le drafter qui gagne sur la charge réelle. La même discipline l’a conduit à [écarter EAGLE3](https://broadrouter.com/fr/blog/models-broadnet-ruled-out/) pour un service saturé.

## Quelles sont les limites ?

-   **Un seul flux.** Une séquence à la fois, une exécution par variante. Le service par lots se comporte autrement, comme l’a montré l’étude sur le modèle dense.
-   **Un seul modèle.** Les résultats valent pour Gemma 4 26B A4B en 4 bits sur des cartes de la classe 24 Go.
-   **Un preprint.** Version 2.3 sur Zenodo, non évaluée par les pairs, accompagnée d’une archive de preuves.

La version v0.3.0 de [vllm-uno](https://github.com/brntech/vllm-uno/releases/tag/v0.3.0) fournit le profil de service, une image de conteneur et le dossier de validation, pour que les chiffres puissent être vérifiés. Pour essayer le modèle servi lui-même, le [playground dans le navigateur](https://broadrouter.com/fr/guides/try-broadnet-inference-playground/) de BroadNet fait tourner Gemma 4 sans compte.

Outils gratuits sur ce sujet (en anglais)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Outils gratuits (en anglais)](https://broadrouter.com/tools/)

## Termes de cet article

[Token](https://broadrouter.com/fr/glossary/token/)

Un token est l’unité de texte qu’un modèle de langage lit et écrit : un mot, une partie de mot, un signe de ponctuation ou une suite d’octets produite par le tokenizer du modèle. Les API LLM comptent, limitent et facturent généralement l’usage en tokens.

[Décodage spéculatif (speculative decoding)](https://broadrouter.com/fr/glossary/speculative-decoding/)

Le décodage spéculatif est une technique d’inférence dans laquelle un petit modèle brouillon rapide propose plusieurs tokens suivants, que le grand modèle cible vérifie en une seule passe avant (forward pass) en gardant ceux qu’il accepte. Il accélère la génération sans changer la distribution de la sortie.

[Mixture of experts (MoE, mélange d’experts)](https://broadrouter.com/fr/glossary/mixture-of-experts/)

Le mixture of experts (MoE) est une architecture de réseau de neurones dans laquelle une couche contient de nombreux sous-réseaux experts et un routeur appris envoie chaque token vers quelques-uns seulement. Un modèle de langage MoE a un grand nombre total de paramètres mais n’en utilise qu’un petit sous-ensemble actif par token.

[Tokens par seconde (TPS)](https://broadrouter.com/fr/glossary/tokens-per-second/)

Les tokens par seconde (TPS) sont le rythme auquel un modèle de langage génère des tokens de sortie, généralement mesuré pour une requête après son premier token. Ils fixent la vitesse d’affichage d’une réponse lancée. Additionnés sur toutes les requêtes simultanées, ils donnent le débit du système ; l’attente avant le premier token se mesure à part.

[vLLM](https://broadrouter.com/fr/glossary/vllm/)

vLLM est une bibliothèque open source d’inférence et de serving de LLM, développée à l’origine au Sky Computing Lab de UC Berkeley. Elle gère la mémoire du cache KV avec PagedAttention, regroupe en continu les requêtes entrantes (continuous batching), prend en charge de nombreux formats de quantification et expose un serveur HTTP compatible OpenAI.

## Questions fréquentes

### Qu’est-ce qu’un modèle mixture of experts ?

Un modèle dont les couches contiennent de nombreux sous-réseaux experts, dont seuls quelques-uns s’exécutent pour chaque token. Gemma 4 26B A4B compte 26B paramètres au total et environ 4B actifs par token, ce qui le rend peu coûteux à servir pour sa taille.

### Pourquoi l’adaptateur Uno est-il plus lent que les autres drafters ici ?

L’article l’explique par la structure : un cycle d’auto-drafting coûte deux passes avant du modèle complet, alors qu’un drafter séparé remplace l’une d’elles par un petit réseau. Un petit drafter dédié l’emporte donc généralement quand il existe.

### Quand l’auto-drafting est-il rentable ?

Selon l’article, en contexte long, où le draft plus large valide plus de tokens par cycle (1,089x contre 1,011x à environ 10 500 tokens), et pour les modèles qui n’ont aucun petit drafter.

### BroadNet utilise-t-il cet adaptateur pour son API Gemma 4 ?

La page du modèle de BroadNet indique que sa version de Gemma 4 26B est servie avec un speculative decoding multi-token prediction (k=2). L’adaptateur Uno est publié comme artefact de recherche ; BroadNet ne dit pas qu’il sert le trafic de l’API avec.

### Puis-je télécharger l’adaptateur ?

Oui. BroadNet le publie sur Hugging Face sous le nom Broadnet/gemma-4-26B-A4B-uno-pilot-adapter, avec le profil de service et l’image de conteneur dans la version v0.3.0 de vllm-uno.

## À lire ensuite

-   [Uno dans vLLM : ce qu’a mesuré l’étude de service de BroadNet](https://broadrouter.com/fr/blog/uno-in-vllm-serving-study/)
-   [Matériel GPU et serving de BroadNet, tels que BroadNet les décrit](https://broadrouter.com/fr/blog/broadnet-gpu-fleet-and-serving/)
-   [Les modèles que BroadNet a évalués puis écartés, et pourquoi](https://broadrouter.com/fr/blog/models-broadnet-ruled-out/)
-   [Quand une fenêtre de contexte de 1M de tokens vaut le coup (ou pas)](https://broadrouter.com/fr/blog/million-token-context-window-guide/)
-   [Mettre en cache les réponses d’API LLM : un cache exact en Python](https://broadrouter.com/fr/blog/cache-llm-responses-cut-cost/)
-   [Intégrer la relecture humaine à votre workflow d’IA documentaire](https://broadrouter.com/fr/blog/document-review-queues/)

Essayez-le sur votre vraie charge de travail. Les nouveaux comptes démarrent avec USD 5 de crédit pour Gemma et transcription. DeepSeek, GLM et Qwen3.8 nécessitent une recharge.

[Commencer](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fr-blog-uno-mixture-of-experts-gemma-4-study&utm_content=page-cta) ·

**Sources**

-   [Al Zubaidi, Self-drafting with Uno on a mixture of experts: serving and training an adapter for Gemma 4 26B A4B, preprint Zenodo v2.3, 2026-09-18 (notice consultée le 2026-11-15)](https://doi.org/10.5281/zenodo.22820511)
-   [Blog de BroadNet, Uno for vLLM now runs mixture-of-experts models (17 septembre 2026 ; consulté le 2026-11-15) (en anglais)](https://www.broadnet.ai/blog/uno-mixture-of-experts)
-   [BroadNet Research : principaux résultats (consulté le 2026-11-15) (en anglais)](https://www.broadnet.ai/research)
-   [vllm-uno, version v0.3.0 (consultée le 2026-11-15)](https://github.com/brntech/vllm-uno/releases/tag/v0.3.0)
-   [Page du modèle BroadNet Gemma 4 VL 26B : configuration de service (consultée le 2026-11-15) (en anglais)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
