BroadRouter
Mulai

Benchmark LLM (LLM benchmark)

Diperbarui

Benchmark LLM adalah sekumpulan tugas yang tetap dan biasanya publik, lengkap dengan metode penilaian, untuk mengukur dan membandingkan model bahasa pada satu keterampilan, seperti soal pengetahuan, coding, atau pengenalan ucapan. Skor benchmark menunjukkan kemampuan relatif pada uji itu, bukan performa model pada workload Anda sendiri.

Disebut juga: benchmark LLM, benchmark model, skor benchmark, tolok ukur LLM, LLM benchmark, model benchmark, benchmark score

Peluncuran model selalu disertai tabel skor benchmark. Memahami apa yang diukur benchmark, dan apa yang tidak bisa diukurnya, mencegah Anda memilih model berdasarkan angka yang salah.

Cara kerjanya

Benchmark menetapkan tiga hal: tugasnya, cara model diberi prompt, dan aturan penilaiannya. Dua contoh yang terkenal:

Benchmark Yang diuji Ukuran Penilaian
MMLU (2020) Pengetahuan di “57 tasks including elementary mathematics, US history, computer science, law, and more” (terjemahan: 57 tugas termasuk matematika dasar, sejarah AS, ilmu komputer, hukum, dan lainnya) 57 mata pelajaran Akurasi
SWE-bench (2023) Memperbaiki issue GitHub nyata dengan “editing the codebase to address the issue” (terjemahan: mengedit codebase untuk menyelesaikan issue) 2.294 soal dari 12 repositori Python Persentase issue yang terselesaikan

Ucapan punya benchmark sendiri: leaderboard memeringkat model transkripsi berdasarkan word error rate, dan makin rendah makin baik.

Benchmark bisa usang. Saat MMLU dipublikasikan, model GPT-3 terbesar meningkat “over random chance by almost 20 percentage points on average” (terjemahan: di atas tebakan acak hampir 20 poin persentase secara rata-rata). Saat SWE-bench dipublikasikan, model terbaik, Claude 2, menyelesaikan 1,96% issue. Benchmark yang dulu bisa membedakan model dengan baik bisa berhenti berfungsi seiring model makin maju, jadi periksa kapan benchmark dibuat dan berapa skor yang umum saat ini.

Kenapa ini penting

  • Kontaminasi. Survei Xu dkk. menggambarkan kontaminasi data benchmark sebagai model yang “inadvertently incorporate evaluation benchmark information from their training data” (terjemahan: secara tidak sengaja menyerap informasi benchmark evaluasi dari data pelatihannya), yang menghasilkan “inaccurate or unreliable performance during the evaluation phase” (terjemahan: performa yang tidak akurat atau tidak andal pada tahap evaluasi).
  • Cakupan sempit. Benchmark coding dalam Python tidak banyak memberi tahu tentang layanan pelanggan berbahasa Arab. Pilih benchmark yang sesuai dengan tugas Anda (leaderboard mana mengukur apa), lalu konfirmasi dengan eval pada data Anda sendiri.
  • Pengaturan mengubah skor. Format prompt, contoh few-shot, anggaran penalaran, dan setup serving semuanya menggeser hasil. Bandingkan skor hanya jika dijalankan dengan cara yang sama.
  • Juri menambah bias sendiri. Benchmark terbuka sering memakai LLM-as-judge; periksa juri dan rubrik yang dipakai.

Artikel evaluasi LLM sebelum berganti menunjukkan cara membangun set uji kecil dari traffic Anda sendiri.

Di BroadNet Inference

BroadNet memublikasikan sebagian angka benchmark miliknya sendiri; anggap itu sebagai hasil yang dilaporkan BroadNet. Untuk BroadNet Transcribe Arabic (berbasis Cohere Transcribe), BroadNet melaporkan word error rate 21,1 pada ucapan dialek MASC dan 3,8 pada FLEURS bahasa Arab, serta melaporkan peringkat #2 dari 37 (angka September 2026; papan peringkat langsung mencantumkannya di #4 dari 39 pada 15 November 2026) di Open Universal Arabic ASR Leaderboard. Untuk Gemma 4 VL 26B, BroadNet melaporkan evaluasi buta dengan tiga juri pada 240 percakapan produksi, di mana model ini menyamai Claude Sonnet pada 5 dari 6 langkah pipeline chatbot milik BroadNet sendiri. Itu pipeline satu perusahaan, bukan benchmark umum. Jalankan eval Anda sendiri sebelum memutuskan; kredit awal $5 mencakup Gemma 4 VL 26B dan kedua model transkripsi.

Pertanyaan umum

Apa bedanya benchmark dan eval?

Benchmark adalah uji publik bersama yang memungkinkan banyak tim membandingkan model. Eval adalah set uji Anda sendiri, dibangun dari prompt nyata Anda dan dinilai berdasarkan kebutuhan produk Anda. Gunakan benchmark untuk menyaring kandidat dan eval untuk memutuskan.

Apa itu kontaminasi benchmark?

Kontaminasi terjadi ketika soal uji, atau salinan yang mirip, masuk ke data pelatihan model. Model lalu bisa mendapat skor tinggi karena mengingat, bukan karena kemampuan, sehingga skornya melebih-lebihkan kemampuan model.

Apakah skor yang dilaporkan vendor bisa dipercaya?

Anggap sebagai klaim. Periksa versi benchmark, pengaturan, dan prompt yang dipakai, apakah ada pihak lain yang mereproduksi hasilnya, dan apakah leaderboard publik menunjukkan hal yang sama.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity