Model lansmanları benchmark skoru tablolarıyla gelir. Bir benchmark’ın neyi ölçtüğünü ve neyi ölçemediğini bilmek, modeli yanlış sayıya bakarak seçmenizi önler.
Nasıl çalışır
Bir benchmark üç şeyi sabitler: görevleri, modele nasıl istem verildiğini ve puanlama kuralını. İki bilinen örnek:
| Benchmark | Neyi test eder | Boyut | Puanlama |
|---|---|---|---|
| MMLU (2020) | “57 tasks including elementary mathematics, US history, computer science, law, and more” (çeviri: temel matematik, ABD tarihi, bilgisayar bilimi, hukuk ve daha fazlasını içeren 57 görev) genelinde bilgi | 57 konu | Doğruluk |
| SWE-bench (2023) | Gerçek GitHub issue’larını “editing the codebase to address the issue” (çeviri: sorunu çözmek için kod tabanını düzenleyerek) düzeltmek | 12 Python deposundan 2.294 problem | Çözülen issue oranı |
Konuşmanın da kendi benchmark’ları vardır: liderlik tabloları transkripsiyon modellerini kelime hata oranına göre sıralar; düşük olan daha iyidir.
Benchmark’lar eskir. MMLU yayımlandığında en büyük GPT-3 modeli “over random chance by almost 20 percentage points on average” (çeviri: ortalamada rastgele tahminin neredeyse 20 yüzde puan üzerinde) gelişme gösterdi. SWE-bench yayımlandığında en iyi model olan Claude 2, issue’ların %1,96’sını çözdü. Bir zamanlar modelleri iyi ayıran bir benchmark, modeller geliştikçe bunu yapamaz hale gelebilir; bu yüzden benchmark’ın ne zaman yapıldığını ve bugün tipik skorların ne olduğunu kontrol edin.
Neden önemli
- Kontaminasyon. Xu vd.‘nin derlemesi, benchmark veri kontaminasyonunu “inadvertently incorporate evaluation benchmark information from their training data” (çeviri: değerlendirme benchmark’ı bilgisini eğitim verilerinden istemeden dahil eden) modeller olarak tanımlar; bunun sonucu “inaccurate or unreliable performance during the evaluation phase” (çeviri: değerlendirme aşamasında yanlış veya güvenilmez performans) olur.
- Dar kapsam. Python’daki bir kodlama benchmark’ı Arapça müşteri desteği hakkında pek bir şey söylemez. Görevinize uyan benchmark’ları seçin (hangi liderlik tablosu neyi ölçer), sonra kendi verinizde bir eval ile doğrulayın.
- Ayarlar skorları değiştirir. İstem biçimi, few-shot örnekleri, akıl yürütme bütçesi ve sunum kurulumu sonuçları oynatır. Skorları yalnızca aynı şekilde çalıştırıldılarsa karşılaştırın.
- Hakemler kendi yanlılıklarını ekler. Açık uçlu benchmark’lar çoğu zaman bir LLM-as-judge kullanır; hangi hakem ve rubriğin kullanıldığını kontrol edin.
Geçiş yapmadan önce bir LLM’yi değerlendirme yazısı, kendi trafiğinizden küçük bir test setinin nasıl oluşturulacağını gösterir.
BroadNet Inference’ta
BroadNet kendi benchmark sayılarından bazılarını yayımlar; bunları BroadNet’in bildirdiği sonuçlar olarak değerlendirin. BroadNet Transcribe Arabic (Cohere Transcribe tabanlı) için BroadNet, MASC lehçe konuşmasında 21,1 ve FLEURS Arapçada 3,8 kelime hata oranı bildirir ve Open Universal Arabic ASR Leaderboard’da 37 model arasında 2. (Eylül 2026 verisi; canlı sıralamada 15 Kasım 2026 itibarıyla 39 model arasında 4.) sırasını bildirir. Gemma 4 VL 26B için BroadNet, 240 gerçek üretim konuşmasında yapılan kör, üç hakemli bir değerlendirmede modelin BroadNet’in kendi sohbet botu işlem hattının 6 adımından 5’inde Claude Sonnet’le denk geldiğini bildirir. Bu tek bir şirketin işlem hattıdır, genel bir benchmark değil. Karar vermeden önce kendi eval’inizi çalıştırın; $5 tutarındaki başlangıç kredisi Gemma 4 VL 26B’yi ve iki transkripsiyon modelini de kapsar.