Modellstarts kommen mit Tabellen voller Benchmark-Scores. Wer weiß, was ein Benchmark misst und was nicht, wählt kein Modell anhand der falschen Zahl.
So funktioniert es
Ein Benchmark legt drei Dinge fest: die Aufgaben, die Art, wie das Modell gepromptet wird, und die Bewertungsregel. Zwei bekannte Beispiele:
| Benchmark | Was er testet | Umfang | Bewertung |
|---|---|---|---|
| MMLU (2020) | Wissen über „57 tasks including elementary mathematics, US history, computer science, law, and more“ (Übersetzung: „57 Aufgaben, darunter elementare Mathematik, US-Geschichte, Informatik, Recht und mehr“) | 57 Fächer | Genauigkeit |
| SWE-bench (2023) | Echte GitHub-Issues beheben durch „editing the codebase to address the issue“ (Übersetzung: „Bearbeiten der Codebasis, um das Issue zu lösen“) | 2.294 Aufgaben aus 12 Python-Repositories | Anteil gelöster Issues |
Sprache hat ihre eigenen: Leaderboards ordnen Transkriptionsmodelle nach der Wortfehlerrate, wobei niedriger besser ist.
Benchmarks altern. Als MMLU erschien, verbesserte sich das größte GPT-3-Modell „over random chance by almost 20 percentage points on average“ (Übersetzung: „gegenüber dem Zufall im Schnitt um fast 20 Prozentpunkte“). Als SWE-bench erschien, löste das beste Modell, Claude 2, 1,96 % der Issues. Ein Benchmark, der Modelle einst gut unterschied, kann das mit besseren Modellen nicht mehr leisten. Prüfen Sie daher, wann ein Benchmark entstand und welche Scores heute üblich sind.
Warum es wichtig ist
- Kontamination. Die Übersichtsarbeit von Xu et al. beschreibt Benchmark-Datenkontamination als Modelle, die „inadvertently incorporate evaluation benchmark information from their training data“ (Übersetzung: „unbeabsichtigt Informationen aus Evaluierungs-Benchmarks aus ihren Trainingsdaten übernehmen“), was zu „inaccurate or unreliable performance during the evaluation phase“ (Übersetzung: „ungenauer oder unzuverlässiger Leistung in der Evaluierungsphase“) führt.
- Enger Abdeckungsbereich. Ein Coding-Benchmark in Python sagt wenig über arabischen Kundensupport. Wählen Sie Benchmarks, die zu Ihrer Aufgabe passen (welches Leaderboard was misst), und bestätigen Sie dann mit einem Eval auf Ihren eigenen Daten.
- Einstellungen verändern Scores. Prompt-Format, Few-Shot-Beispiele, Reasoning-Budget und das Serving-Setup verschieben die Ergebnisse. Vergleichen Sie Scores nur, wenn sie auf dieselbe Weise ermittelt wurden.
- Bewerter bringen eigene Verzerrungen mit. Offene Benchmarks nutzen oft ein LLM-as-a-Judge; prüfen Sie, welcher Bewerter und welche Rubrik verwendet wurden.
Der Beitrag ein LLM vor dem Wechsel evaluieren zeigt, wie Sie aus Ihrem eigenen Traffic ein kleines Testset bauen.
Bei BroadNet Inference
BroadNet veröffentlicht einige eigene Benchmark-Zahlen; behandeln Sie sie als Angaben von BroadNet. Für BroadNet Transcribe Arabic (basierend auf Cohere Transcribe) meldet BroadNet Wortfehlerraten von 21,1 auf MASC-Dialektsprache und 3,8 auf FLEURS Arabisch sowie einen Rang von #2 von 37 (Angabe für September 2026; die Live-Rangliste führte das Modell am 15. November 2026 auf #4 von 39) im Open Universal Arabic ASR Leaderboard. Für Gemma 4 VL 26B meldet BroadNet eine verblindete Bewertung mit drei Bewertern auf 240 Produktionsgesprächen, in der das Modell bei 5 von 6 Schritten der eigenen Chatbot-Pipeline von BroadNet mit Claude Sonnet gleichzog. Das ist die Pipeline eines einzelnen Unternehmens, kein allgemeiner Benchmark. Führen Sie Ihr eigenes Eval durch, bevor Sie sich festlegen; das Startguthaben von $5 gilt für Gemma 4 VL 26B und beide Transkriptionsmodelle.