Chaque lancement de modèle s’accompagne de tableaux de scores de benchmark. Savoir ce qu’un benchmark mesure, et ce qu’il ne peut pas mesurer, évite de choisir un modèle sur le mauvais chiffre.
Comment ça marche
Un benchmark fixe trois choses : les tâches, la façon dont le modèle est prompté et la règle de notation. Deux exemples connus :
| Benchmark | Ce qu’il teste | Taille | Notation |
|---|---|---|---|
| MMLU (2020) | Connaissances sur « 57 tasks including elementary mathematics, US history, computer science, law, and more » (traduction : « 57 tâches, dont les mathématiques élémentaires, l’histoire des États-Unis, l’informatique, le droit, etc. ») | 57 matières | Exactitude |
| SWE-bench (2023) | Corriger de vraies issues GitHub en « editing the codebase to address the issue » (traduction : « modifiant la base de code pour résoudre l’issue ») | 2 294 problèmes issus de 12 dépôts Python | Part des issues résolues |
La parole a les siens : des classements ordonnent les modèles de transcription selon le taux d’erreur sur les mots, où plus bas est meilleur.
Les benchmarks vieillissent. À la publication de MMLU, le plus grand modèle GPT-3 faisait mieux « over random chance by almost 20 percentage points on average » (traduction : « que le hasard de près de 20 points de pourcentage en moyenne »). À la publication de SWE-bench, le meilleur modèle, Claude 2, résolvait 1,96 % des issues. Un benchmark qui départageait bien les modèles peut cesser de le faire à mesure qu’ils progressent : vérifiez donc quand il a été créé et quels scores sont typiques aujourd’hui.
Pourquoi c’est important
- Contamination. La revue de Xu et al. décrit la contamination des données de benchmark comme le fait que des modèles « inadvertently incorporate evaluation benchmark information from their training data » (traduction : « intègrent par inadvertance des informations de benchmarks d’évaluation issues de leurs données d’entraînement »), ce qui conduit à des « inaccurate or unreliable performance during the evaluation phase » (traduction : « performances inexactes ou peu fiables pendant la phase d’évaluation »).
- Couverture étroite. Un benchmark de code en Python dit peu de chose du support client en arabe. Choisissez des benchmarks adaptés à votre tâche (quel classement mesure quoi), puis confirmez par une eval sur vos propres données.
- Les réglages changent les scores. Le format du prompt, les exemples few-shot, le budget de raisonnement et la configuration de service font bouger les résultats. Ne comparez des scores que s’ils ont été obtenus de la même façon.
- Les juges ajoutent leurs propres biais. Les benchmarks ouverts utilisent souvent un LLM-as-a-judge ; vérifiez quel juge et quelle grille ont été employés.
L’article évaluer un LLM avant de changer montre comment construire un petit jeu de test à partir de votre propre trafic.
Sur BroadNet Inference
BroadNet publie certains chiffres de benchmark qui lui sont propres ; considérez-les comme annoncés par BroadNet. Pour BroadNet Transcribe Arabic (basé sur Cohere Transcribe), BroadNet annonce des taux d’erreur sur les mots de 21,1 sur la parole dialectale de MASC et de 3,8 sur FLEURS arabe, ainsi qu’un rang de #2 sur 37 (chiffre de septembre 2026 ; le classement en direct le plaçait #4 sur 39 le 15 novembre 2026) sur l’Open Universal Arabic ASR Leaderboard. Pour Gemma 4 VL 26B, BroadNet annonce une évaluation à l’aveugle par trois juges sur 240 conversations de production, dans laquelle le modèle a égalé Claude Sonnet sur 5 des 6 étapes du pipeline de chatbot de BroadNet. Il s’agit du pipeline d’une seule entreprise, pas d’un benchmark général. Lancez votre propre eval avant de vous engager ; le crédit de départ de $5 couvre Gemma 4 VL 26B et les deux modèles de transcription.