Um ein LLM vor einem Wechsel zu evaluieren, lassen Sie beide Modelle auf 50 bis 200 echten Prompts mit bekannten guten Ergebnissen laufen. Bewerten Sie zuerst mit Code-Checks und nur dort mit einem entzerrten LLM-Judge, wo Code nicht entscheiden kann, protokollieren Sie Kosten und Latenz und legen Sie die Bestehensregel vorher fest.
Die Codeänderung selbst ist klein: Bei einer OpenAI-kompatiblen API sind es eine Base-URL und eine Modell-ID. Die Migrations-Checkliste behandelt diesen Teil, die Checkliste zur Anbieterwahl Preise, Limits und Datenschutz. Schwierig ist, zu wissen, ob das neue Modell für Ihre Aufgaben genauso gut ist. Öffentliche Leaderboards beantworten das nicht; Artificial Analysis und seine Alternativen dienen dazu, eine Vorauswahl zu treffen. Ein kleines Eval-Set aus Ihrem eigenen Traffic beantwortet es, mit ein bis zwei Tagen Arbeit.
Wie bauen Sie ein Eval-Set aus echtem Traffic?
- Ziehen Sie 300 bis 1.000 aktuelle Anfragen aus Ihren Nutzungsprotokollen, nach der Schwärzung sensibler Daten.
- Gruppieren Sie nach Aufgabentyp: Extraktion, Klassifikation, Zusammenfassung, Chat-Antwort, Code-Änderung, Tool Call.
- Ziehen Sie 10 bis 40 Stichproben pro Typ, mehr bei Typen mit hohem Volumen oder hohem Risiko. Nehmen Sie lange Prompts, nicht-englische Eingaben und die Fälle auf, über die sich Nutzer beschwert haben.
- Schreiben Sie das erwartete Ergebnis für jeden Fall auf: einen exakten Wert, ein Schema, einen Test, der bestehen muss, oder eine kurze Bewertungsrubrik („nennt die Rückgabefrist; keine erfundenen Richtlinien“).
- Markieren Sie kritische Fälle. Eine falsche Rechnungssumme oder eine durchgesickerte Anweisung ist etwas anderes als ein etwas schlechterer Ton.
- Frieren Sie das Set ein, in der Versionsverwaltung. Fügen Sie Fälle hinzu, wenn Sie neue Fehler finden, und löschen Sie nie welche, um ein Modell besser aussehen zu lassen.
Welche Checks sollten Code sein und welche ein Judge?
Nutzen Sie für jeden Fall den günstigsten zuverlässigen Check:
| Aufgabe | Check | Judge nötig? |
|---|---|---|
| JSON-Extraktion | Lässt sich parsen, Schema validiert, Felder entsprechen dem Erwarteten | Nein |
| Klassifikation | Label entspricht dem Erwarteten | Nein |
| Code-Änderung | Tests bestehen | Nein |
| Tool Call | Richtige Funktion, Argumente validieren | Nein |
| Zusammenfassung | Enthält die nötigen Fakten; keine Fakten, die in der Quelle fehlen | Manchmal |
| Chat-Antwort, Ton, Hilfsbereitschaft | Rubrik | Ja |
Deterministische Checks kosten nichts, sind wiederholbar und lassen sich nicht schmeicheln; verlagern Sie also so viele Fälle wie möglich in Code-Checks.
Was geht bei LLM-as-a-Judge schief?
Ein LLM-as-a-Judge ist ein Modell, das die Antworten anderer Modelle anhand einer Rubrik bewertet. Die MT-Bench-Studie (Zheng et al.) ergab, dass starke Judges in mehr als 80 % der Fälle mit menschlichen Präferenzen übereinstimmten, etwa so oft wie Menschen untereinander. Dasselbe Paper benennt die Verzerrungen, die Sie beim Aufbau berücksichtigen müssen:
| Bias | Was passiert | Gegenmaßnahme |
|---|---|---|
| Position | Bevorzugt die zuerst (oder als zweite) gezeigte Antwort | Jedes Paar zweimal bewerten, Reihenfolge vertauscht; Sieg nur zählen, wenn beide übereinstimmen |
| Länge | Bevorzugt längere Antworten | Rubrik, die Korrektheit und Kürze belohnt; Länge im Prompt begrenzen |
| Selbstbevorzugung | Bevorzugt Antworten im eigenen Stil | Judge aus einer anderen Modellfamilie als beide Kandidaten |
| Schwaches Schlussfolgern | Übersieht Fehler in Mathematik oder Code | Für diese Fälle stattdessen Code-Checks nutzen |
Zwei weitere Regeln aus der Praxis. Fixieren Sie den Judge: dieselbe Modellversion, derselbe Prompt, Temperature 0, für den ganzen Vergleich. Und kalibrieren Sie ihn: Labeln Sie 30 bis 50 Paare selbst, lassen Sie den Judge darauf laufen und vertrauen Sie ihm nur, wenn er meistens mit Ihnen übereinstimmt. Der Evaluator-Leitfaden von Arize gibt denselben Rat („Collect 20–100 examples“, Übersetzung: „Sammeln Sie 20–100 Beispiele“) mit menschlichen Labels und empfiehlt kategoriale Labels wie pass/fail statt großer numerischer Skalen.
Wie führen Sie einen direkten Vergleich durch?
Lassen Sie beide Kandidaten auf jedem Fall laufen, verblinden Sie den Judge, vertauschen Sie die Reihenfolge und protokollieren Sie Kosten und Zeit:
import os, random, time, json
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3" # a third family, pinned
def run(model, case):
t0 = time.perf_counter()
r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
"secs": time.perf_counter() - t0}
def judge(case, first, second):
prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
response_format={"type": "json_object"},
messages=[{"role": "user", "content": prompt}])
return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))
def compare(case):
a, b = run(A, case), run(B, case)
if case.get("check"): # deterministic first
return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
w1 = judge(case, a["text"], b["text"]) # A shown first
w2 = judge(case, b["text"], a["text"]) # B shown first
winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
return {"winner": winner, "a": a, "b": b}
Durch die Tauschregel gewinnt ein Modell nur, wenn der Judge es in beiden Positionen bevorzugt; jede Abweichung zählt als Unentschieden. Der Anteil der Abweichungen ist selbst aufschlussreich: Eine hohe Rate bedeutet, dass der Judge oder die Rubrik zu vage ist. Beachten Sie max_tokens=4000: Bei Reasoning-Modellen zählt das Nachdenken zum Limit, und eine niedrige Obergrenze erzeugt leere Antworten, die wie Fehlschläge aussehen. Siehe warum Reasoning-Modelle leere Antworten liefern.
Wie groß muss ein Unterschied sein, um echt zu sein?
Eval-Ergebnisse sind Stichproben. Für eine Bestehensquote p über n Fälle ist der Standardfehler √(p × (1 − p) ÷ n), und eine 95-%-Fehlerspanne beträgt etwa das Doppelte davon.
| Fälle | Bestehensquote | 95-%-Fehlerspanne |
|---|---|---|
| 50 | 80 % | etwa ±11 Punkte |
| 100 | 80 % | etwa ±8 Punkte |
| 200 | 80 % | etwa ±6 Punkte |
| 400 | 80 % | etwa ±4 Punkte |
Ein Modell mit 82 % gegenüber 79 % bei 100 Fällen ist also nicht nachweislich besser. Schauen Sie stattdessen auf Unterschiede pro Fall: Welche Fälle sind von bestanden zu nicht bestanden gekippt? Das sagt Ihnen mehr als die Summen, und bei kritischen Fällen kann ein einziger Kipper über den Wechsel entscheiden.
Wie sollte die Entscheidungsregel aussehen?
Schreiben Sie sie auf, bevor Sie die Evaluation laufen lassen, damit das Ergebnis sie nicht verbiegen kann. Eine praktische Vorlage:
- Keine Verschlechterung bei einem als kritisch markierten Fall.
- Gesamte Bestehensquote nicht um mehr als die Fehlerspanne niedriger als beim aktuellen Modell.
- p95-Latenz innerhalb Ihres Budgets; wie Sie sie messen, steht unter TTFT vs. Durchsatz.
- Kosten pro erfolgreichem Fall niedriger, oder nur um einen Betrag höher, den Sie als die Qualität wert vereinbart haben. Berechnen Sie die monatliche Differenz mit dem LLM-API-Kostenrechner.
- Eine Schattenphase: Senden Sie einen Teil des Live-Traffics an das neue Modell, protokollieren Sie beide und vergleichen Sie, bevor Sie umstellen.
Dasselbe Eval-Set ist der Ausgangspunkt, wenn Sie ein eigenes Modell erwägen: Vor dem Fine-Tuning behandelt, wann Prompts und Retrieval genügen.
Wo BroadNet Inference passt
BroadNet Inference bietet mehrere Modellfamilien hinter einem OpenAI-kompatiblen Endpoint an, darunter DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B; Kandidaten und ein Judge aus einer anderen Familie können also über denselben Client und Schlüssel laufen. Jede Antwort enthält den Token-Verbrauch für den Kostenvergleich, und neue Konten starten mit $5 Guthaben; ohne Aufladung deckt dieses Guthaben nur Gemma 4 VL 26B ab, planen Sie also eine kleine Aufladung ein, um die größeren Modelle zu vergleichen. Ein Evaluations-Harness oder gehostete Judge-Werkzeuge gehören nicht dazu; den Code oben führen Sie selbst aus. Für arabische Workloads listet ein LLM für Arabisch auswählen auf, was Sie testen sollten. Preise im direkten Vergleich finden Sie auf der Vergleichsseite.
