BroadRouter
Loslegen

LLM-Benchmark

Aktualisiert

Ein LLM-Benchmark ist eine feste, meist öffentliche Sammlung von Aufgaben mit einer Bewertungsmethode, mit der Sprachmodelle bei einer Fähigkeit gemessen und verglichen werden, etwa Wissensfragen, Programmieren oder Spracherkennung. Ein Benchmark-Score zeigt die relative Leistung in diesem Test, nicht wie ein Modell bei Ihrem eigenen Workload abschneidet.

Auch genannt: LLM-Benchmark, Modell-Benchmark, Benchmark-Score, KI-Benchmark, Benchmark-Ergebnisse, LLM benchmark, model benchmark, benchmark score

Modellstarts kommen mit Tabellen voller Benchmark-Scores. Wer weiß, was ein Benchmark misst und was nicht, wählt kein Modell anhand der falschen Zahl.

So funktioniert es

Ein Benchmark legt drei Dinge fest: die Aufgaben, die Art, wie das Modell gepromptet wird, und die Bewertungsregel. Zwei bekannte Beispiele:

Benchmark Was er testet Umfang Bewertung
MMLU (2020) Wissen über „57 tasks including elementary mathematics, US history, computer science, law, and more“ (Übersetzung: „57 Aufgaben, darunter elementare Mathematik, US-Geschichte, Informatik, Recht und mehr“) 57 Fächer Genauigkeit
SWE-bench (2023) Echte GitHub-Issues beheben durch „editing the codebase to address the issue“ (Übersetzung: „Bearbeiten der Codebasis, um das Issue zu lösen“) 2.294 Aufgaben aus 12 Python-Repositories Anteil gelöster Issues

Sprache hat ihre eigenen: Leaderboards ordnen Transkriptionsmodelle nach der Wortfehlerrate, wobei niedriger besser ist.

Benchmarks altern. Als MMLU erschien, verbesserte sich das größte GPT-3-Modell „over random chance by almost 20 percentage points on average“ (Übersetzung: „gegenüber dem Zufall im Schnitt um fast 20 Prozentpunkte“). Als SWE-bench erschien, löste das beste Modell, Claude 2, 1,96 % der Issues. Ein Benchmark, der Modelle einst gut unterschied, kann das mit besseren Modellen nicht mehr leisten. Prüfen Sie daher, wann ein Benchmark entstand und welche Scores heute üblich sind.

Warum es wichtig ist

  • Kontamination. Die Übersichtsarbeit von Xu et al. beschreibt Benchmark-Datenkontamination als Modelle, die „inadvertently incorporate evaluation benchmark information from their training data“ (Übersetzung: „unbeabsichtigt Informationen aus Evaluierungs-Benchmarks aus ihren Trainingsdaten übernehmen“), was zu „inaccurate or unreliable performance during the evaluation phase“ (Übersetzung: „ungenauer oder unzuverlässiger Leistung in der Evaluierungsphase“) führt.
  • Enger Abdeckungsbereich. Ein Coding-Benchmark in Python sagt wenig über arabischen Kundensupport. Wählen Sie Benchmarks, die zu Ihrer Aufgabe passen (welches Leaderboard was misst), und bestätigen Sie dann mit einem Eval auf Ihren eigenen Daten.
  • Einstellungen verändern Scores. Prompt-Format, Few-Shot-Beispiele, Reasoning-Budget und das Serving-Setup verschieben die Ergebnisse. Vergleichen Sie Scores nur, wenn sie auf dieselbe Weise ermittelt wurden.
  • Bewerter bringen eigene Verzerrungen mit. Offene Benchmarks nutzen oft ein LLM-as-a-Judge; prüfen Sie, welcher Bewerter und welche Rubrik verwendet wurden.

Der Beitrag ein LLM vor dem Wechsel evaluieren zeigt, wie Sie aus Ihrem eigenen Traffic ein kleines Testset bauen.

Bei BroadNet Inference

BroadNet veröffentlicht einige eigene Benchmark-Zahlen; behandeln Sie sie als Angaben von BroadNet. Für BroadNet Transcribe Arabic (basierend auf Cohere Transcribe) meldet BroadNet Wortfehlerraten von 21,1 auf MASC-Dialektsprache und 3,8 auf FLEURS Arabisch sowie einen Rang von #2 von 37 (Angabe für September 2026; die Live-Rangliste führte das Modell am 15. November 2026 auf #4 von 39) im Open Universal Arabic ASR Leaderboard. Für Gemma 4 VL 26B meldet BroadNet eine verblindete Bewertung mit drei Bewertern auf 240 Produktionsgesprächen, in der das Modell bei 5 von 6 Schritten der eigenen Chatbot-Pipeline von BroadNet mit Claude Sonnet gleichzog. Das ist die Pipeline eines einzelnen Unternehmens, kein allgemeiner Benchmark. Führen Sie Ihr eigenes Eval durch, bevor Sie sich festlegen; das Startguthaben von $5 gilt für Gemma 4 VL 26B und beide Transkriptionsmodelle.

Häufige Fragen

Was ist der Unterschied zwischen einem Benchmark und einem Eval?

Ein Benchmark ist ein gemeinsamer öffentlicher Test, mit dem viele Teams Modelle vergleichen können. Ein Eval ist Ihr eigenes Testset, gebaut aus Ihren echten Prompts und bewertet nach dem, was Ihr Produkt braucht. Nutzen Sie Benchmarks für die Vorauswahl und Evals für die Entscheidung.

Was ist Benchmark-Kontamination?

Sie entsteht, wenn Testfragen oder enge Kopien davon in die Trainingsdaten eines Modells gelangen. Das Modell kann dann durch Erinnern statt durch Können gut abschneiden, und der Score überschätzt seine Fähigkeiten.

Sind Scores, die Anbieter selbst melden, verlässlich?

Behandeln Sie sie als Behauptungen. Prüfen Sie, welche Benchmark-Version, welche Einstellungen und Prompts verwendet wurden, ob jemand das Ergebnis reproduziert hat und ob ein öffentliches Leaderboard dasselbe zeigt.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen