Uno dans vLLM est un preprint de la branche de recherche de BroadNet, publié sur Zenodo le 8 septembre 2026 sous le DOI 10.5281/zenodo.22652610. Il décrit une implémentation native dans vLLM d’Uno, une méthode de speculative decoding développée par IFM, et mesure à quel point elle sert plus vite que vLLM simple. Sa notice Zenodo indique Mohammad Al Zubaidi comme auteur.
Cette page résume ce que dit l’article, comment il l’a mesuré, et ce qu’il vous apprend ou non. Les chiffres sont ceux de BroadNet ; nous ne les avons pas reproduits.
Quel problème Uno traite-t-il ?
Un modèle de langage génère normalement un token par passe avant. Le speculative decoding accélère cela en devinant plusieurs tokens à l’avance et en les vérifiant en une seule passe du modèle complet. La plupart des méthodes utilisent un modèle de draft séparé, plus petit. Uno attache plutôt un adaptateur entraîné au modèle lui-même : le modèle rédige ses propres tokens, puis les vérifie avec ses poids d’origine. Voir speculative decoding pour l’idée générale.
La question de l’article est pratique : cette accélération survit-elle dans un moteur de service en production, avec batching, cache et de nombreuses requêtes simultanées ?
Qu’a construit BroadNet ?
L’article de blog de BroadNet est clair sur la paternité : « Uno, developed by IFM and collaborators » (traduction : « Uno, développé par IFM et ses collaborateurs ») est la méthode, et la contribution de BroadNet est « the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation » (traduction : « l’intégration native à vLLM, l’ingénierie qui fait fonctionner ensemble ses chemins d’exécution, et l’évaluation en service »). Le résumé liste les éléments d’exécution : routage conditionnel de l’adaptateur, état clé/valeur complet du draft, ordonnancement asynchrone, rejeu de graphes CUDA, calcul de l’adaptateur en recouvrement et réutilisation des lignes d’amorce.
Le code est public dans le dépôt vllm-uno de BroadNet, et BroadNet l’a proposé en amont à vLLM sous forme de pull request 55947.
Comment a-t-il été mesuré ?
Le test principal est contrôlé :
- Matériel et modèle : une NVIDIA H100, Qwen3-8B en bfloat16, avec l’adaptateur Uno publié pour Qwen3-8B.
- Charge : huit prompts mathématiques, répétés pour remplir des lots plus grands, générant chacun jusqu’à 512 tokens, avec le cache de préfixe désactivé.
- Référence : vLLM autorégressif ordinaire (« vLLM simple ») sur la même configuration.
- Concurrence : 1, 8 et 32 flux simultanés.
Une seconde comparaison, séparée, active le cache de préfixe et utilise les réglages de service choisis par BroadNet, pour comparer avec l’implémentation de référence SGLang.
Qu’a trouvé l’étude ?
| Mesure | Résultat rapporté par BroadNet |
|---|---|
| Débit par rapport à vLLM simple, 1 flux | 2,58x |
| Débit par rapport à vLLM simple, 8 flux | 2,20x |
| Débit par rapport à vLLM simple, 32 flux | 1,74x |
| Écart avec l’implémentation de référence SGLang | moins de 3 % à 1, 8 et 32 flux |
| Réglages de production, 32 flux | 7 657 tokens/s, contre 7 505 pour SGLang (2,0 % devant) |
| Latence du premier token à chaud, ablation au sein de vLLM | 25 % plus basse avec deux processus d’API au lieu d’un |
Le chiffre clé pour la planification de capacité est la dernière ligne du premier bloc : 74 % de sortie en plus par seconde à 32 flux simultanés, sur le même GPU. C’est ce que le blog de BroadNet appelle « the central payoff » (traduction : « le gain central »), car une accélération qui disparaît sous charge n’apporte pas grand-chose à une API partagée.
Une version ultérieure (v0.2.0, sur le Model Runner V2 de vLLM) est décrite sur le blog de BroadNet avec 2,1 à 2,4 fois la sortie sur un seul flux sur Blackwell, 1,7 à 1,9 fois sur Ampere et 2,6 fois sur Hopper. Ce sont un matériel et des versions différents de ceux du tableau principal de l’article, d’où l’écart entre les chiffres.
Quelles sont les limites ?
- Un modèle, une charge. Le résultat contrôlé porte sur Qwen3-8B avec des prompts mathématiques. Du code, du chat ou de longs documents peuvent faire accepter moins de tokens rédigés.
- Les gains diminuent avec la charge. La baisse de 2,58x à 1,74x a la forme attendue : quand le GPU est occupé, la puissance libre pour le draft s’épuise.
- Un preprint. L’article est déposé sur Zenodo, sans évaluation par les pairs. Son archive associée contient l’inventaire des preuves et les données des figures, ce qui permet à d’autres de le vérifier.
- Auto-déclaré. BroadNet a exécuté les deux variantes. L’accord à 3 % près avec l’implémentation de référence est le contrôle que l’article fait lui-même sur ce point.
Pourquoi est-ce important si vous appelez simplement une API ?
Le débit par GPU détermine ce qu’un fournisseur peut facturer et sa rapidité de réponse sous charge. Le catalogue de BroadNet indique qu’il mesure les méthodes de draft à une concurrence réelle avant d’en choisir une, et qu’il a écarté EAGLE3 après que celle-ci a coûté 69 % du débit à 32 requêtes simultanées. L’étude complémentaire sur Gemma 4 26B applique la même méthode au modèle mixture of experts que BroadNet vend sous le nom Gemma 4 VL 26B. Pour voir comment cela s’inscrit dans les choix de service plus larges de BroadNet, lisez le matériel GPU et l’approche de service de BroadNet.
Si vous exploitez vos propres serveurs vLLM, la leçon pratique est de mesurer toute méthode de draft à la concurrence que vous avez réellement, pas à un seul flux.
