Peluncuran model selalu disertai tabel skor benchmark. Memahami apa yang diukur benchmark, dan apa yang tidak bisa diukurnya, mencegah Anda memilih model berdasarkan angka yang salah.
Cara kerjanya
Benchmark menetapkan tiga hal: tugasnya, cara model diberi prompt, dan aturan penilaiannya. Dua contoh yang terkenal:
| Benchmark | Yang diuji | Ukuran | Penilaian |
|---|---|---|---|
| MMLU (2020) | Pengetahuan di “57 tasks including elementary mathematics, US history, computer science, law, and more” (terjemahan: 57 tugas termasuk matematika dasar, sejarah AS, ilmu komputer, hukum, dan lainnya) | 57 mata pelajaran | Akurasi |
| SWE-bench (2023) | Memperbaiki issue GitHub nyata dengan “editing the codebase to address the issue” (terjemahan: mengedit codebase untuk menyelesaikan issue) | 2.294 soal dari 12 repositori Python | Persentase issue yang terselesaikan |
Ucapan punya benchmark sendiri: leaderboard memeringkat model transkripsi berdasarkan word error rate, dan makin rendah makin baik.
Benchmark bisa usang. Saat MMLU dipublikasikan, model GPT-3 terbesar meningkat “over random chance by almost 20 percentage points on average” (terjemahan: di atas tebakan acak hampir 20 poin persentase secara rata-rata). Saat SWE-bench dipublikasikan, model terbaik, Claude 2, menyelesaikan 1,96% issue. Benchmark yang dulu bisa membedakan model dengan baik bisa berhenti berfungsi seiring model makin maju, jadi periksa kapan benchmark dibuat dan berapa skor yang umum saat ini.
Kenapa ini penting
- Kontaminasi. Survei Xu dkk. menggambarkan kontaminasi data benchmark sebagai model yang “inadvertently incorporate evaluation benchmark information from their training data” (terjemahan: secara tidak sengaja menyerap informasi benchmark evaluasi dari data pelatihannya), yang menghasilkan “inaccurate or unreliable performance during the evaluation phase” (terjemahan: performa yang tidak akurat atau tidak andal pada tahap evaluasi).
- Cakupan sempit. Benchmark coding dalam Python tidak banyak memberi tahu tentang layanan pelanggan berbahasa Arab. Pilih benchmark yang sesuai dengan tugas Anda (leaderboard mana mengukur apa), lalu konfirmasi dengan eval pada data Anda sendiri.
- Pengaturan mengubah skor. Format prompt, contoh few-shot, anggaran penalaran, dan setup serving semuanya menggeser hasil. Bandingkan skor hanya jika dijalankan dengan cara yang sama.
- Juri menambah bias sendiri. Benchmark terbuka sering memakai LLM-as-judge; periksa juri dan rubrik yang dipakai.
Artikel evaluasi LLM sebelum berganti menunjukkan cara membangun set uji kecil dari traffic Anda sendiri.
Di BroadNet Inference
BroadNet memublikasikan sebagian angka benchmark miliknya sendiri; anggap itu sebagai hasil yang dilaporkan BroadNet. Untuk BroadNet Transcribe Arabic (berbasis Cohere Transcribe), BroadNet melaporkan word error rate 21,1 pada ucapan dialek MASC dan 3,8 pada FLEURS bahasa Arab, serta melaporkan peringkat #2 dari 37 (angka September 2026; papan peringkat langsung mencantumkannya di #4 dari 39 pada 15 November 2026) di Open Universal Arabic ASR Leaderboard. Untuk Gemma 4 VL 26B, BroadNet melaporkan evaluasi buta dengan tiga juri pada 240 percakapan produksi, di mana model ini menyamai Claude Sonnet pada 5 dari 6 langkah pipeline chatbot milik BroadNet sendiri. Itu pipeline satu perusahaan, bukan benchmark umum. Jalankan eval Anda sendiri sebelum memutuskan; kredit awal $5 mencakup Gemma 4 VL 26B dan kedua model transkripsi.