BroadRouter

Uno dans vLLM : ce qu’a mesuré l’étude de service de BroadNet

Par l’équipe BroadNet Inference · 4 min de lecture · Publié

Uno dans vLLM est un preprint de BroadNet de septembre 2026 (DOI 10.5281/zenodo.22652610). Il ajoute à vLLM Uno, un adaptateur qui permet à un modèle de rédiger ses propres tokens à l’avance. Sur une H100 avec Qwen3-8B, BroadNet a mesuré 2,58 fois le débit de vLLM simple à un flux, 2,20 fois à huit et 1,74 fois à 32, à moins de 3 % de l’implémentation de référence.

Uno dans vLLM est un preprint de la branche de recherche de BroadNet, publié sur Zenodo le 8 septembre 2026 sous le DOI 10.5281/zenodo.22652610. Il décrit une implémentation native dans vLLM d’Uno, une méthode de speculative decoding développée par IFM, et mesure à quel point elle sert plus vite que vLLM simple. Sa notice Zenodo indique Mohammad Al Zubaidi comme auteur.

Cette page résume ce que dit l’article, comment il l’a mesuré, et ce qu’il vous apprend ou non. Les chiffres sont ceux de BroadNet ; nous ne les avons pas reproduits.

Quel problème Uno traite-t-il ?

Un modèle de langage génère normalement un token par passe avant. Le speculative decoding accélère cela en devinant plusieurs tokens à l’avance et en les vérifiant en une seule passe du modèle complet. La plupart des méthodes utilisent un modèle de draft séparé, plus petit. Uno attache plutôt un adaptateur entraîné au modèle lui-même : le modèle rédige ses propres tokens, puis les vérifie avec ses poids d’origine. Voir speculative decoding pour l’idée générale.

La question de l’article est pratique : cette accélération survit-elle dans un moteur de service en production, avec batching, cache et de nombreuses requêtes simultanées ?

Qu’a construit BroadNet ?

L’article de blog de BroadNet est clair sur la paternité : « Uno, developed by IFM and collaborators » (traduction : « Uno, développé par IFM et ses collaborateurs ») est la méthode, et la contribution de BroadNet est « the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation » (traduction : « l’intégration native à vLLM, l’ingénierie qui fait fonctionner ensemble ses chemins d’exécution, et l’évaluation en service »). Le résumé liste les éléments d’exécution : routage conditionnel de l’adaptateur, état clé/valeur complet du draft, ordonnancement asynchrone, rejeu de graphes CUDA, calcul de l’adaptateur en recouvrement et réutilisation des lignes d’amorce.

Le code est public dans le dépôt vllm-uno de BroadNet, et BroadNet l’a proposé en amont à vLLM sous forme de pull request 55947.

Comment a-t-il été mesuré ?

Le test principal est contrôlé :

  • Matériel et modèle : une NVIDIA H100, Qwen3-8B en bfloat16, avec l’adaptateur Uno publié pour Qwen3-8B.
  • Charge : huit prompts mathématiques, répétés pour remplir des lots plus grands, générant chacun jusqu’à 512 tokens, avec le cache de préfixe désactivé.
  • Référence : vLLM autorégressif ordinaire (« vLLM simple ») sur la même configuration.
  • Concurrence : 1, 8 et 32 flux simultanés.

Une seconde comparaison, séparée, active le cache de préfixe et utilise les réglages de service choisis par BroadNet, pour comparer avec l’implémentation de référence SGLang.

Qu’a trouvé l’étude ?

Mesure Résultat rapporté par BroadNet
Débit par rapport à vLLM simple, 1 flux 2,58x
Débit par rapport à vLLM simple, 8 flux 2,20x
Débit par rapport à vLLM simple, 32 flux 1,74x
Écart avec l’implémentation de référence SGLang moins de 3 % à 1, 8 et 32 flux
Réglages de production, 32 flux 7 657 tokens/s, contre 7 505 pour SGLang (2,0 % devant)
Latence du premier token à chaud, ablation au sein de vLLM 25 % plus basse avec deux processus d’API au lieu d’un

Le chiffre clé pour la planification de capacité est la dernière ligne du premier bloc : 74 % de sortie en plus par seconde à 32 flux simultanés, sur le même GPU. C’est ce que le blog de BroadNet appelle « the central payoff » (traduction : « le gain central »), car une accélération qui disparaît sous charge n’apporte pas grand-chose à une API partagée.

Une version ultérieure (v0.2.0, sur le Model Runner V2 de vLLM) est décrite sur le blog de BroadNet avec 2,1 à 2,4 fois la sortie sur un seul flux sur Blackwell, 1,7 à 1,9 fois sur Ampere et 2,6 fois sur Hopper. Ce sont un matériel et des versions différents de ceux du tableau principal de l’article, d’où l’écart entre les chiffres.

Quelles sont les limites ?

  • Un modèle, une charge. Le résultat contrôlé porte sur Qwen3-8B avec des prompts mathématiques. Du code, du chat ou de longs documents peuvent faire accepter moins de tokens rédigés.
  • Les gains diminuent avec la charge. La baisse de 2,58x à 1,74x a la forme attendue : quand le GPU est occupé, la puissance libre pour le draft s’épuise.
  • Un preprint. L’article est déposé sur Zenodo, sans évaluation par les pairs. Son archive associée contient l’inventaire des preuves et les données des figures, ce qui permet à d’autres de le vérifier.
  • Auto-déclaré. BroadNet a exécuté les deux variantes. L’accord à 3 % près avec l’implémentation de référence est le contrôle que l’article fait lui-même sur ce point.

Pourquoi est-ce important si vous appelez simplement une API ?

Le débit par GPU détermine ce qu’un fournisseur peut facturer et sa rapidité de réponse sous charge. Le catalogue de BroadNet indique qu’il mesure les méthodes de draft à une concurrence réelle avant d’en choisir une, et qu’il a écarté EAGLE3 après que celle-ci a coûté 69 % du débit à 32 requêtes simultanées. L’étude complémentaire sur Gemma 4 26B applique la même méthode au modèle mixture of experts que BroadNet vend sous le nom Gemma 4 VL 26B. Pour voir comment cela s’inscrit dans les choix de service plus larges de BroadNet, lisez le matériel GPU et l’approche de service de BroadNet.

Si vous exploitez vos propres serveurs vLLM, la leçon pratique est de mesurer toute méthode de draft à la concurrence que vous avez réellement, pas à un seul flux.

Questions fréquentes

Qu’est-ce qu’Uno ?

Uno est une méthode de speculative decoding développée par IFM et ses collaborateurs. Un petit adaptateur entraîné permet au modèle de proposer plusieurs tokens à la fois, que les propres poids du modèle vérifient ensuite. Il n’y a pas de modèle de draft séparé.

L’accélération est-elle sans perte ?

BroadNet l’affirme pour sa version : chaque fois que vLLM simple reproduit sa propre sortie, Uno retrouve ses tokens en décodage glouton, et ses tests de distribution échantillonnée passent. Le speculative decoding vérifie chaque token rédigé avec le modèle complet, donc la qualité de sortie ne devrait pas changer ; vérifiez-le sur vos propres prompts.

Uno aide-t-il à forte concurrence ?

Moins qu’à faible concurrence. Dans le test contrôlé de l’article, le gain passait de 2,58x à un flux à 1,74x à 32. Le catalogue de BroadNet rapporte aussi qu’une autre méthode, EAGLE3, coûtait 69 % du débit à 32 requêtes simultanées : les méthodes de draft doivent donc être testées à votre charge réelle.

Puis-je l’exécuter moi-même ?

Oui. BroadNet publie l’implémentation dans son dépôt vllm-uno, avec une image de conteneur, des versions figées et un dossier de validation pour chaque version, et l’a proposée à vLLM sous forme de pull request 55947.

BroadNet Inference utilise-t-il Uno pour les modèles de son API ?

BroadNet ne le dit pas. Son catalogue indique des drafters multi-token prediction (k=2) en production pour Gemma 4 26B. Uno est un résultat de recherche que BroadNet publie ; demandez à BroadNet si vous en avez besoin sur un endpoint privé.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity