---
title: "Was ist LLM-as-a-Judge? Modellbewertete Evals erklärt"
description: "Bei LLM-as-a-Judge bewertet ein Sprachmodell die Ausgaben eines anderen anhand einer Rubrik. Funktionsweise, bekannte Verzerrungen und verlässliche Scores."
url: https://broadrouter.com/de/glossary/llm-as-judge/
lang: de
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/glossary/llm-as-judge/) (aktualisiert am 2026-11-14).

# LLM-as-a-Judge (LLM als Bewerter)

Aktualisiert 2026-11-14

LLM-as-a-Judge ist eine Evaluierungsmethode, bei der ein Sprachmodell die Ausgaben anderer Modelle bewertet: Es benotet eine einzelne Antwort anhand einer Rubrik oder wählt die bessere von zwei Antworten. Das nähert menschliches Urteil zu viel geringeren Kosten an, hat aber bekannte Verzerrungen, etwa eine Vorliebe für die erste oder längere Antwort.

Auch genannt: LLM-as-a-Judge, LLM als Richter, LLM als Bewerter, LLM-Judge, KI-Bewerter, modellbewertete Evals, LLM as a judge, LLM judge, model-graded eval, AI judge, LLM grader

LLM-as-a-Judge ersetzt einen menschlichen Bewerter durch einen Modellaufruf: Geben Sie ihm die Frage, die Antwort und eine Rubrik, und lesen Sie einen Score zurück.

## So funktioniert es

Gründlich untersucht haben die Methode Zheng et al. (2023), die dafür MT-Bench (Fragen über mehrere Runden) und Chatbot Arena (Crowdsourcing-Abstimmungen im direkten Vergleich) aufgebaut haben. Ihr Hauptergebnis: GPT-4 als Bewerter stimmte mit den Präferenzen von Fachleuten und der Crowd „at over 80%“ (Übersetzung: „zu über 80 %“) überein, auf dem gleichen Niveau wie die Übereinstimmung zwischen Menschen.

Es gibt zwei verbreitete Aufbauten:

-   **Bewertung einzelner Antworten.** Der Bewerter benotet eine Ausgabe auf einer Skala, etwa von 1 bis 5, anhand schriftlicher Kriterien. Der Graders-Leitfaden von OpenAI nennt das einen `score_model`\-Grader, der „a numeric score based on the prompt within the given range“ (Übersetzung: „einen numerischen Score auf Basis des Prompts im vorgegebenen Bereich“) liefert.
-   **Paarweiser Vergleich.** Der Bewerter sieht zwei Antworten auf dieselbe Frage und wählt die bessere oder ein Unentschieden.

Ein Bewerter-Prompt enthält meist die ursprüngliche Frage, die Antwort, eine Referenzantwort, falls vorhanden, und eine Rubrik. Lassen Sie vor dem Score eine kurze Begründung ausgeben und beschränken Sie den Score mit [Structured Output](https://broadrouter.com/de/glossary/structured-output/), damit Ihr Code ihn parsen kann.

## Warum es wichtig ist

Menschliche Bewertung skaliert nicht auf Tausende von [Eval](https://broadrouter.com/de/glossary/eval/)\-Fällen pro Prompt-Änderung. Ein LLM-Bewerter schon, bringt aber Verzerrungen mit, die Zheng et al. gemessen haben:

| Verzerrung | Was passiert | Gegenmaßnahme |
| --- | --- | --- |
| Position | Bevorzugt die erste (oder zweite) Antwort | Reihenfolge tauschen und Übereinstimmung verlangen |
| Ausführlichkeit | Bevorzugt längere Antworten | Rubrik, die Kürze belohnt; Längengrenzen |
| Selbstbevorzugung | Bevorzugt den Stil des eigenen Modells | Ein anderes Modell als Bewerter nutzen |

Bewerter sind außerdem schwach darin, Mathematik und Fakten zu prüfen, die sie nicht verifizieren können. Geben Sie dafür eine Referenzantwort mit oder nutzen Sie codebasierte Prüfungen. Ein Bewerter, der [Halluzinationen](https://broadrouter.com/de/glossary/hallucination/) übersieht, erzeugt falsche Sicherheit.

## Bei BroadNet Inference

BroadNet bietet keinen gehosteten Bewertungsdienst an; den Bewerter-Aufruf schreiben Sie selbst gegen den Chat-Completions-Endpoint. Bewerter-Aufrufe werden wie jede Anfrage berechnet, ein Bewerter, der lange Antworten liest, verursacht also pro Fall zusätzliche [Input- und Output-Tokens](https://broadrouter.com/de/glossary/input-and-output-tokens/). Schätzen Sie einen Durchlauf mit dem [Kostenrechner für LLM-APIs](https://broadrouter.com/tools/llm-api-cost-calculator/). Ist der Bewerter ein Reasoning-Modell, lassen Sie Spielraum in `max_tokens`, weil das Reasoning mitzählt. Den gesamten Ablauf beschreibt [ein LLM vor dem Wechsel evaluieren](https://broadrouter.com/de/blog/evaluate-llm-before-switching/).

## Häufige Fragen

### Wie genau ist LLM-as-a-Judge?

Zheng et al. stellten fest, dass GPT-4 als Bewerter in über 80 % der Fälle mit menschlichen Präferenzen übereinstimmte, etwa so oft wie Menschen untereinander. Prüfen Sie die Übereinstimmung bei Ihrer eigenen Aufgabe, bevor Sie dem Bewerter vertrauen.

### Sollte der Bewerter dasselbe Modell sein wie das getestete?

Besser nicht. Zheng et al. berichten von einer Selbstbevorzugung, und der Leitfaden von Anthropic nennt ein anderes Bewertungsmodell Best Practice.

### Wie verringere ich die Positionsverzerrung beim paarweisen Vergleich?

Führen Sie jeden Vergleich zweimal mit vertauschten Antworten aus und werten Sie einen Sieg nur, wenn der Bewerter beide Male dieselbe Antwort wählt.

## Siehe auch

-   [Eval (LLM-Evaluierung)](https://broadrouter.com/de/glossary/eval/) (Begriff)
-   [Halluzination (KI)](https://broadrouter.com/de/glossary/hallucination/) (Begriff)
-   [Strukturierte Ausgabe (Structured Output)](https://broadrouter.com/de/glossary/structured-output/) (Begriff)
-   [Temperatur (Temperature)](https://broadrouter.com/de/glossary/temperature/) (Begriff)
-   [Input- und Output-Tokens](https://broadrouter.com/de/glossary/input-and-output-tokens/) (Begriff)
-   [OpenAI Python SDK mit BroadNet Inference nutzen](https://broadrouter.com/de/guides/openai-python-sdk/) (Anleitung)
-   [Wie Sie ein LLM vor dem Anbieterwechsel evaluieren](https://broadrouter.com/de/blog/evaluate-llm-before-switching/) (Artikel)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-glossary-llm-as-judge&utm_content=page-cta) ·

**Quellen**

-   [Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)](https://arxiv.org/abs/2306.05685)
-   [Anthropic, belastbare empirische Evaluierungen erstellen (LLM-basierte Bewertung)](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)
-   [OpenAI, Leitfaden zu Graders (score\_model-Grader)](https://developers.openai.com/api/docs/guides/graders)
