Pelancaran model disertakan dengan jadual skor penanda aras. Mengetahui apa yang diukur oleh penanda aras, dan apa yang tidak dapat diukurnya, menghalang anda memilih model berdasarkan nombor yang salah.
Cara ia berfungsi
Penanda aras menetapkan tiga perkara: tugasan, cara model diberi prompt, dan peraturan pemarkahan. Dua contoh terkenal:
| Penanda aras | Apa yang diuji | Saiz | Pemarkahan |
|---|---|---|---|
| MMLU (2020) | Pengetahuan merentas “57 tasks including elementary mathematics, US history, computer science, law, and more” (Terjemahan BroadRouter: “57 tugasan termasuk matematik asas, sejarah AS, sains komputer, undang-undang dan banyak lagi”) | 57 subjek | Ketepatan |
| SWE-bench (2023) | Membaiki isu GitHub sebenar dengan “editing the codebase to address the issue” (Terjemahan BroadRouter: “menyunting pangkalan kod untuk menangani isu itu”) | 2,294 masalah daripada 12 repositori Python | Peratusan isu yang diselesaikan |
Pertuturan mempunyai penanda arasnya sendiri: papan pendahulu menyusun model transkripsi mengikut kadar ralat perkataan, di mana lebih rendah lebih baik.
Penanda aras menjadi usang. Semasa MMLU diterbitkan, model GPT-3 terbesar meningkat “over random chance by almost 20 percentage points on average” (Terjemahan BroadRouter: “melebihi tekaan rawak hampir 20 mata peratusan secara purata”). Semasa SWE-bench diterbitkan, model terbaik, Claude 2, menyelesaikan 1.96% isu. Penanda aras yang dahulunya membezakan model dengan baik boleh berhenti berbuat demikian apabila model bertambah baik, jadi semak bila sesuatu penanda aras dibuat dan skor yang lazim hari ini.
Mengapa ia penting
- Pencemaran. Tinjauan oleh Xu et al. menerangkan pencemaran data penanda aras sebagai model yang “inadvertently incorporate evaluation benchmark information from their training data” (Terjemahan BroadRouter: “secara tidak sengaja menyerap maklumat penanda aras penilaian daripada data latihannya”), yang membawa kepada “inaccurate or unreliable performance during the evaluation phase” (Terjemahan BroadRouter: “prestasi yang tidak tepat atau tidak boleh dipercayai semasa fasa penilaian”).
- Liputan sempit. Penanda aras pengekodan dalam Python tidak banyak memberitahu tentang sokongan pelanggan dalam bahasa Arab. Pilih penanda aras yang sepadan dengan tugas anda (papan pendahulu mana mengukur apa), kemudian sahkan dengan eval pada data anda sendiri.
- Tetapan mengubah skor. Format prompt, contoh few-shot, bajet penaakulan dan susunan penyajian semuanya menggerakkan keputusan. Bandingkan skor hanya apabila ia dijalankan dengan cara yang sama.
- Hakim membawa bias sendiri. Penanda aras terbuka sering menggunakan LLM-as-judge; semak hakim dan rubrik mana yang digunakan.
Artikel nilai LLM sebelum bertukar menunjukkan cara membina set ujian kecil daripada trafik anda sendiri.
Di BroadNet Inference
BroadNet menerbitkan beberapa angka penanda arasnya sendiri; anggap ia sebagai laporan BroadNet. Untuk BroadNet Transcribe Arabic (berasaskan Cohere Transcribe), BroadNet melaporkan kadar ralat perkataan 21.1 pada pertuturan dialek MASC dan 3.8 pada FLEURS Arabic, serta melaporkan kedudukan #2 daripada 37 (angka September 2026; papan kedudukan langsung menyenaraikannya di #4 daripada 39 pada 15 November 2026) pada Open Universal Arabic ASR Leaderboard. Untuk Gemma 4 VL 26B, BroadNet melaporkan penilaian buta dengan tiga hakim ke atas 240 perbualan produksi, di mana ia menyamai Claude Sonnet pada 5 daripada 6 langkah dalam pipeline chatbot BroadNet sendiri. Itu pipeline satu syarikat, bukan penanda aras umum. Jalankan eval anda sendiri sebelum membuat komitmen; kredit permulaan $5 meliputi Gemma 4 VL 26B dan kedua-dua model transkripsi.