---
title: "LLM-as-a-judge nedir? Modelle puanlanan eval'ler | BroadRouter"
description: "LLM-as-a-judge, bir dil modelinin başka bir modelin çıktılarını bir rubriğe göre puanlamasıdır. Nasıl çalışır, yanlılıkları neler, skorlar nasıl güvenilir olur?"
url: https://broadrouter.com/tr/glossary/llm-as-judge/
lang: tr
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

İngilizceden yapay zekâ desteğiyle çevrilmiştir. [İngilizce aslını okuyun](https://broadrouter.com/glossary/llm-as-judge/) (güncelleme: 2026-11-14).

# Hakem olarak LLM (LLM-as-a-judge)

Güncellendi 2026-11-14

LLM-as-a-judge (hakem olarak LLM), bir dil modelinin diğer model çıktılarını notlandırdığı bir değerlendirme yöntemidir: ya tek bir yanıtı bir rubriğe göre puanlar ya da iki yanıttan daha iyisini seçer. İnsan yargısına çok daha düşük maliyetle yaklaşır, ancak ilk veya daha uzun yanıtı kayırmak gibi bilinen yanlılıkları vardır.

Diğer adları: hakem LLM, LLM hakem, model ile puanlama, yapay zeka hakemi, LLM-as-a-judge, LLM as a judge, LLM judge, model-graded eval, AI judge, LLM grader

LLM-as-a-judge, insan değerlendiricinin yerine bir model çağrısı koyar: ona soruyu, yanıtı ve bir rubriği verin, karşılığında bir skor okuyun.

## Nasıl çalışır

Yöntem, test etmek için MT-Bench’i (çok turlu sorular) ve Chatbot Arena’yı (kitle kaynaklı birebir oylamalar) kuran Zheng vd. (2023) tarafından derinlemesine incelendi. Ana bulguları: hakem olarak GPT-4 hem uzman hem de kitle tercihleriyle “at over 80%” (çeviri: %80’in üzerinde) uyuştu; bu, insanlar arası uyumla aynı düzeydir.

İki yaygın kurulum vardır:

-   **Tek yanıt puanlama.** Hakem tek bir çıktıyı yazılı kriterlere göre bir ölçekte, örneğin 1’den 5’e kadar puanlar. OpenAI’ın graders rehberi buna “a numeric score based on the prompt within the given range.” (çeviri: isteme dayalı, verilen aralıkta sayısal bir skor) döndüren bir `score_model` grader der.
-   **İkili karşılaştırma.** Hakem aynı soruya verilmiş iki yanıtı görür ve daha iyisini seçer ya da beraberlik verir.

Bir hakem istemi genellikle orijinal soruyu, yanıtı, varsa bir referans yanıtı ve bir rubriği içerir. Skordan önce kısa bir gerekçe isteyin ve kodunuzun ayrıştırabilmesi için skoru [yapılandırılmış çıktı](https://broadrouter.com/tr/glossary/structured-output/) ile sınırlayın.

## Neden önemli

İnsan değerlendirmesi, her istem değişikliğinde binlerce [eval](https://broadrouter.com/tr/glossary/eval/) vakasına ölçeklenmez. Hakem ölçeklenir, ancak Zheng vd.‘nin ölçtüğü yanlılıkları da beraberinde getirir:

| Yanlılık | Ne olur | Azaltma |
| --- | --- | --- |
| Konum | İlk (veya ikinci) yanıtı tercih eder | Sırayı değiştirin ve uyum şartı koyun |
| Uzunluk | Daha uzun yanıtları tercih eder | Kısalığı ödüllendiren rubrik; uzunluk sınırları |
| Kendini kayırma | Kendi modelinin üslubunu tercih eder | Hakem olarak farklı bir model kullanın |

Hakemler, doğrulayamadıkları matematik ve olguları kontrol etmede de zayıftır. Bunlar için hakeme bir referans yanıt verin veya kod tabanlı kontroller kullanın. [Halüsinasyonları](https://broadrouter.com/tr/glossary/hallucination/) kaçıran bir hakem sahte bir güven verir.

## BroadNet Inference’ta

BroadNet barındırılan bir puanlama hizmeti sunmaz; hakem çağrısını chat completions uç noktasına karşı kendiniz yazarsınız. Hakem çağrıları her istek gibi faturalandırılır; uzun yanıtları okuyan bir hakem vaka başına [girdi ve çıktı token’ları](https://broadrouter.com/tr/glossary/input-and-output-tokens/) ekler. Bir çalıştırmayı [LLM API maliyet hesaplayıcı](https://broadrouter.com/tools/llm-api-cost-calculator/) ile tahmin edin. Hakem bir akıl yürütme modeliyse `max_tokens` içinde pay bırakın, çünkü akıl yürütme de bu sınıra sayılır. Genel süreç için [geçiş yapmadan önce bir LLM’yi değerlendirme](https://broadrouter.com/tr/blog/evaluate-llm-before-switching/) yazısına bakın.

## Sık sorulan sorular

### LLM-as-a-judge ne kadar doğru?

Zheng vd., hakem olarak GPT-4'ün insan tercihleriyle %80'in üzerinde uyuştuğunu buldu; bu, insanların birbiriyle uyuşma oranıyla hemen hemen aynıdır. Güvenmeden önce kendi görevinizde uyumu kontrol edin.

### Hakem, test edilen modelle aynı model mi olmalı?

Tercihen hayır. Zheng vd. bir kendini kayırma (self-enhancement) yanlılığı bildiriyor; Anthropic'in rehberi de farklı bir puanlama modeli kullanmayı en iyi uygulama sayıyor.

### İkili karşılaştırmada konum yanlılığını nasıl azaltırım?

Her karşılaştırmayı yanıtların yerini değiştirerek iki kez çalıştırın ve yalnızca hakem iki seferde de aynı yanıtı seçerse bunu galibiyet sayın.

## Ayrıca bakın

-   [Eval (LLM değerlendirmesi)](https://broadrouter.com/tr/glossary/eval/) (terim)
-   [Halüsinasyon (yapay zeka halüsinasyonu)](https://broadrouter.com/tr/glossary/hallucination/) (terim)
-   [Yapılandırılmış çıktı (structured output)](https://broadrouter.com/tr/glossary/structured-output/) (terim)
-   [Sıcaklık (temperature)](https://broadrouter.com/tr/glossary/temperature/) (terim)
-   [Girdi ve çıktı token'ları](https://broadrouter.com/tr/glossary/input-and-output-tokens/) (terim)
-   [OpenAI Python SDK'yı BroadNet Inference ile kullanın](https://broadrouter.com/tr/guides/openai-python-sdk/) (rehber)
-   [Sağlayıcı değiştirmeden önce bir LLM nasıl değerlendirilir?](https://broadrouter.com/tr/blog/evaluate-llm-before-switching/) (yazı)

Gerçek iş yükünüzle deneyin. Yeni hesaplar şunlar için US$5 kredi ile başlar: Gemma ve transkripsiyon. Bakiye yüklemesi gerekenler: DeepSeek, GLM ve Qwen3.8.

[Başlayın](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-glossary-llm-as-judge&utm_content=page-cta) ·

**Kaynaklar**

-   [Zheng vd., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)](https://arxiv.org/abs/2306.05685)
-   [Anthropic, güçlü ampirik değerlendirmeler oluşturma (LLM tabanlı puanlama)](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)
-   [OpenAI, graders rehberi (score\_model grader)](https://developers.openai.com/api/docs/guides/graders)
