---
title: "LLM benchmark nedir? Skorlar, sınırlar ve kontaminasyon"
description: "LLM benchmark, MMLU veya SWE-bench gibi modelleri puanlayıp karşılaştıran sabit, herkese açık bir test setidir. Nasıl çalışır, skor neden sizin eval'iniz değildir?"
url: https://broadrouter.com/tr/glossary/llm-benchmark/
lang: tr
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

İngilizceden yapay zekâ desteğiyle çevrilmiştir. [İngilizce aslını okuyun](https://broadrouter.com/glossary/llm-benchmark/) (güncelleme: 2026-11-16).

# LLM benchmark (kıyaslama testi)

Güncellendi 2026-11-16

LLM benchmark, dil modellerini tek bir beceride, örneğin bilgi soruları, kodlama veya konuşma tanımada ölçmek ve karşılaştırmak için kullanılan, puanlama yöntemi olan sabit ve genellikle herkese açık bir görev setidir. Benchmark skoru o testteki göreli yeteneği gösterir; modelin sizin iş yükünüzde nasıl performans göstereceğini değil.

Diğer adları: LLM benchmark, kıyaslama testi, model karşılaştırma testi, benchmark skoru, model benchmark, benchmark score

Model lansmanları benchmark skoru tablolarıyla gelir. Bir benchmark’ın neyi ölçtüğünü ve neyi ölçemediğini bilmek, modeli yanlış sayıya bakarak seçmenizi önler.

## Nasıl çalışır

Bir benchmark üç şeyi sabitler: görevleri, modele nasıl istem verildiğini ve puanlama kuralını. İki bilinen örnek:

| Benchmark | Neyi test eder | Boyut | Puanlama |
| --- | --- | --- | --- |
| MMLU (2020) | “57 tasks including elementary mathematics, US history, computer science, law, and more” (çeviri: temel matematik, ABD tarihi, bilgisayar bilimi, hukuk ve daha fazlasını içeren 57 görev) genelinde bilgi | 57 konu | Doğruluk |
| SWE-bench (2023) | Gerçek GitHub issue’larını “editing the codebase to address the issue” (çeviri: sorunu çözmek için kod tabanını düzenleyerek) düzeltmek | 12 Python deposundan 2.294 problem | Çözülen issue oranı |

Konuşmanın da kendi benchmark’ları vardır: liderlik tabloları transkripsiyon modellerini [kelime hata oranına](https://broadrouter.com/tr/glossary/word-error-rate/) göre sıralar; düşük olan daha iyidir.

Benchmark’lar eskir. MMLU yayımlandığında en büyük GPT-3 modeli “over random chance by almost 20 percentage points on average” (çeviri: ortalamada rastgele tahminin neredeyse 20 yüzde puan üzerinde) gelişme gösterdi. SWE-bench yayımlandığında en iyi model olan Claude 2, issue’ların %1,96’sını çözdü. Bir zamanlar modelleri iyi ayıran bir benchmark, modeller geliştikçe bunu yapamaz hale gelebilir; bu yüzden benchmark’ın ne zaman yapıldığını ve bugün tipik skorların ne olduğunu kontrol edin.

## Neden önemli

-   **Kontaminasyon.** Xu vd.‘nin derlemesi, benchmark veri kontaminasyonunu “inadvertently incorporate evaluation benchmark information from their training data” (çeviri: değerlendirme benchmark’ı bilgisini eğitim verilerinden istemeden dahil eden) modeller olarak tanımlar; bunun sonucu “inaccurate or unreliable performance during the evaluation phase” (çeviri: değerlendirme aşamasında yanlış veya güvenilmez performans) olur.
-   **Dar kapsam.** Python’daki bir kodlama benchmark’ı Arapça müşteri desteği hakkında pek bir şey söylemez. Görevinize uyan benchmark’ları seçin ([hangi liderlik tablosu neyi ölçer](https://broadrouter.com/tr/blog/artificial-analysis-alternatives/)), sonra kendi verinizde bir [eval](https://broadrouter.com/tr/glossary/eval/) ile doğrulayın.
-   **Ayarlar skorları değiştirir.** İstem biçimi, few-shot örnekleri, akıl yürütme bütçesi ve sunum kurulumu sonuçları oynatır. Skorları yalnızca aynı şekilde çalıştırıldılarsa karşılaştırın.
-   **Hakemler kendi yanlılıklarını ekler.** Açık uçlu benchmark’lar çoğu zaman bir [LLM-as-judge](https://broadrouter.com/tr/glossary/llm-as-judge/) kullanır; hangi hakem ve rubriğin kullanıldığını kontrol edin.

[Geçiş yapmadan önce bir LLM’yi değerlendirme](https://broadrouter.com/tr/blog/evaluate-llm-before-switching/) yazısı, kendi trafiğinizden küçük bir test setinin nasıl oluşturulacağını gösterir.

## BroadNet Inference’ta

BroadNet kendi benchmark sayılarından bazılarını yayımlar; bunları BroadNet’in bildirdiği sonuçlar olarak değerlendirin. [BroadNet Transcribe Arabic](https://broadrouter.com/tr/models/cohere-transcribe-arabic/) (Cohere Transcribe tabanlı) için BroadNet, MASC lehçe konuşmasında 21,1 ve FLEURS Arapçada 3,8 kelime hata oranı bildirir ve Open Universal Arabic ASR Leaderboard’da 37 model arasında 2. (Eylül 2026 verisi; canlı sıralamada 15 Kasım 2026 itibarıyla 39 model arasında 4.) sırasını bildirir. [Gemma 4 VL 26B](https://broadrouter.com/tr/models/gemma-4-vl-26b/) için BroadNet, 240 gerçek üretim konuşmasında yapılan kör, üç hakemli bir değerlendirmede modelin BroadNet’in kendi sohbet botu işlem hattının 6 adımından 5’inde Claude Sonnet’le denk geldiğini bildirir. Bu tek bir şirketin işlem hattıdır, genel bir benchmark değil. Karar vermeden önce kendi eval’inizi çalıştırın; $5 tutarındaki başlangıç kredisi Gemma 4 VL 26B’yi ve iki transkripsiyon modelini de kapsar.

## Sık sorulan sorular

### Benchmark ile eval arasındaki fark nedir?

Benchmark, birçok ekibin modelleri karşılaştırmasını sağlayan ortak ve herkese açık bir testtir. Eval ise gerçek istemlerinizden oluşturulan ve ürününüzün ihtiyaçlarına göre puanlanan kendi test setinizdir. Kısa liste için benchmark'ları, karar için eval'leri kullanın.

### Benchmark kontaminasyonu nedir?

Test soruları veya onların yakın kopyaları bir modelin eğitim verisine girdiğinde ortaya çıkar. Model bu durumda beceriyle değil ezberle yüksek skor alabilir; skor da yeteneğini olduğundan fazla gösterir.

### Sağlayıcıların bildirdiği skorlar güvenilir mi?

Bunları iddia olarak ele alın. Hangi benchmark sürümünün, ayarların ve istemlerin kullanıldığını, sonucu başka birinin tekrarlayıp tekrarlamadığını ve herkese açık bir liderlik tablosunun aynı şeyi gösterip göstermediğini kontrol edin.

## Ayrıca bakın

-   [Eval (LLM değerlendirmesi)](https://broadrouter.com/tr/glossary/eval/) (terim)
-   [Hakem olarak LLM (LLM-as-a-judge)](https://broadrouter.com/tr/glossary/llm-as-judge/) (terim)
-   [Kelime hata oranı (WER)](https://broadrouter.com/tr/glossary/word-error-rate/) (terim)
-   [Halüsinasyon (yapay zeka halüsinasyonu)](https://broadrouter.com/tr/glossary/hallucination/) (terim)
-   [Açık ağırlıklı model (open-weight model)](https://broadrouter.com/tr/glossary/open-weight-model/) (terim)
-   [Sağlayıcı değiştirmeden önce bir LLM nasıl değerlendirilir?](https://broadrouter.com/tr/blog/evaluate-llm-before-switching/) (yazı)
-   [Artificial Analysis alternatifleri: 2026'da LLM karşılaştırma](https://broadrouter.com/tr/blog/artificial-analysis-alternatives/) (yazı)
-   [Arapça için LLM API seçimi: neler test edilmeli?](https://broadrouter.com/tr/blog/choosing-an-llm-for-arabic/) (yazı)
-   [Arapça ses metne çevirme API: 2026'da nasıl seçilir?](https://broadrouter.com/tr/blog/arabic-speech-to-text-api-buyers-guide/) (yazı)

Gerçek iş yükünüzle deneyin. Yeni hesaplar şunlar için US$5 kredi ile başlar: Gemma ve transkripsiyon. Bakiye yüklemesi gerekenler: DeepSeek, GLM ve Qwen3.8.

[Başlayın](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-glossary-llm-benchmark&utm_content=page-cta) ·

**Kaynaklar**

-   [Hendrycks vd., Measuring Massive Multitask Language Understanding (MMLU), arXiv 2009.03300 (kontrol tarihi 2026-11-15)](https://arxiv.org/abs/2009.03300)
-   [Jimenez vd., SWE-bench: Can Language Models Resolve Real-World GitHub Issues?, arXiv 2310.06770 (kontrol tarihi 2026-11-15)](https://arxiv.org/abs/2310.06770)
-   [Xu vd., Benchmark Data Contamination of Large Language Models: A Survey, arXiv 2406.04244 (kontrol tarihi 2026-11-15)](https://arxiv.org/abs/2406.04244)
-   [BroadNet, BroadNet Transcribe Arabic model sayfası: bildirilen WER ve liderlik tablosu sırası (kontrol tarihi 2026-11-16) (İngilizce)](https://www.broadnet.ai/inference/models/cohere-transcribe-arabic)
