---
title: "Apakah itu penanda aras LLM? Skor, had dan pencemaran"
description: "Penanda aras LLM ialah set ujian awam tetap untuk memberi skor dan membandingkan model, seperti MMLU atau SWE-bench. Cara ia berfungsi, dan mengapa skor bukan eval."
url: https://broadrouter.com/ms/glossary/llm-benchmark/
lang: ms
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/llm-benchmark/) (dikemas kini 2026-11-16).

# Penanda aras LLM (LLM benchmark)

Dikemas kini 2026-11-16

Penanda aras LLM ialah set tugasan tetap, biasanya awam, dengan kaedah pemarkahan, yang digunakan untuk mengukur dan membandingkan model bahasa pada satu kemahiran, seperti soalan pengetahuan, pengekodan atau pengecaman pertuturan. Skor penanda aras menunjukkan keupayaan relatif pada ujian itu, bukan prestasi model pada beban kerja anda sendiri.

Juga dikenali sebagai: LLM benchmark, penanda aras model, model benchmark, benchmark score, skor penanda aras

Pelancaran model disertakan dengan jadual skor penanda aras. Mengetahui apa yang diukur oleh penanda aras, dan apa yang tidak dapat diukurnya, menghalang anda memilih model berdasarkan nombor yang salah.

## Cara ia berfungsi

Penanda aras menetapkan tiga perkara: tugasan, cara model diberi prompt, dan peraturan pemarkahan. Dua contoh terkenal:

| Penanda aras | Apa yang diuji | Saiz | Pemarkahan |
| --- | --- | --- | --- |
| MMLU (2020) | Pengetahuan merentas “57 tasks including elementary mathematics, US history, computer science, law, and more” (Terjemahan BroadRouter: “57 tugasan termasuk matematik asas, sejarah AS, sains komputer, undang-undang dan banyak lagi”) | 57 subjek | Ketepatan |
| SWE-bench (2023) | Membaiki isu GitHub sebenar dengan “editing the codebase to address the issue” (Terjemahan BroadRouter: “menyunting pangkalan kod untuk menangani isu itu”) | 2,294 masalah daripada 12 repositori Python | Peratusan isu yang diselesaikan |

Pertuturan mempunyai penanda arasnya sendiri: papan pendahulu menyusun model transkripsi mengikut [kadar ralat perkataan](https://broadrouter.com/ms/glossary/word-error-rate/), di mana lebih rendah lebih baik.

Penanda aras menjadi usang. Semasa MMLU diterbitkan, model GPT-3 terbesar meningkat “over random chance by almost 20 percentage points on average” (Terjemahan BroadRouter: “melebihi tekaan rawak hampir 20 mata peratusan secara purata”). Semasa SWE-bench diterbitkan, model terbaik, Claude 2, menyelesaikan 1.96% isu. Penanda aras yang dahulunya membezakan model dengan baik boleh berhenti berbuat demikian apabila model bertambah baik, jadi semak bila sesuatu penanda aras dibuat dan skor yang lazim hari ini.

## Mengapa ia penting

-   **Pencemaran.** Tinjauan oleh Xu et al. menerangkan pencemaran data penanda aras sebagai model yang “inadvertently incorporate evaluation benchmark information from their training data” (Terjemahan BroadRouter: “secara tidak sengaja menyerap maklumat penanda aras penilaian daripada data latihannya”), yang membawa kepada “inaccurate or unreliable performance during the evaluation phase” (Terjemahan BroadRouter: “prestasi yang tidak tepat atau tidak boleh dipercayai semasa fasa penilaian”).
-   **Liputan sempit.** Penanda aras pengekodan dalam Python tidak banyak memberitahu tentang sokongan pelanggan dalam bahasa Arab. Pilih penanda aras yang sepadan dengan tugas anda ([papan pendahulu mana mengukur apa](https://broadrouter.com/ms/blog/artificial-analysis-alternatives/)), kemudian sahkan dengan [eval](https://broadrouter.com/ms/glossary/eval/) pada data anda sendiri.
-   **Tetapan mengubah skor.** Format prompt, contoh few-shot, bajet penaakulan dan susunan penyajian semuanya menggerakkan keputusan. Bandingkan skor hanya apabila ia dijalankan dengan cara yang sama.
-   **Hakim membawa bias sendiri.** Penanda aras terbuka sering menggunakan [LLM-as-judge](https://broadrouter.com/ms/glossary/llm-as-judge/); semak hakim dan rubrik mana yang digunakan.

Artikel [nilai LLM sebelum bertukar](https://broadrouter.com/ms/blog/evaluate-llm-before-switching/) menunjukkan cara membina set ujian kecil daripada trafik anda sendiri.

## Di BroadNet Inference

BroadNet menerbitkan beberapa angka penanda arasnya sendiri; anggap ia sebagai laporan BroadNet. Untuk [BroadNet Transcribe Arabic](https://broadrouter.com/ms/models/cohere-transcribe-arabic/) (berasaskan Cohere Transcribe), BroadNet melaporkan kadar ralat perkataan 21.1 pada pertuturan dialek MASC dan 3.8 pada FLEURS Arabic, serta melaporkan kedudukan #2 daripada 37 (angka September 2026; papan kedudukan langsung menyenaraikannya di #4 daripada 39 pada 15 November 2026) pada Open Universal Arabic ASR Leaderboard. Untuk [Gemma 4 VL 26B](https://broadrouter.com/ms/models/gemma-4-vl-26b/), BroadNet melaporkan penilaian buta dengan tiga hakim ke atas 240 perbualan produksi, di mana ia menyamai Claude Sonnet pada 5 daripada 6 langkah dalam pipeline chatbot BroadNet sendiri. Itu pipeline satu syarikat, bukan penanda aras umum. Jalankan eval anda sendiri sebelum membuat komitmen; kredit permulaan $5 meliputi Gemma 4 VL 26B dan kedua-dua model transkripsi.

## Soalan lazim

### Apakah perbezaan antara penanda aras dan eval?

Penanda aras ialah ujian awam yang dikongsi supaya banyak pasukan boleh membandingkan model. Eval ialah set ujian anda sendiri, dibina daripada prompt sebenar anda dan diberi skor berdasarkan keperluan produk anda. Guna penanda aras untuk menyenarai pendek dan eval untuk membuat keputusan.

### Apakah itu pencemaran penanda aras?

Ia berlaku apabila soalan ujian, atau salinan yang hampir sama, masuk ke dalam data latihan model. Model kemudian boleh mendapat skor baik kerana mengingat, bukan kerana kemahiran, jadi skor itu melebih-lebihkan keupayaannya.

### Bolehkah skor yang dilaporkan vendor dipercayai?

Anggap ia sebagai dakwaan. Semak versi penanda aras, tetapan dan prompt yang digunakan, sama ada sesiapa telah menghasilkan semula keputusan itu, dan sama ada papan pendahulu awam menunjukkan perkara yang sama.

## Lihat juga

-   [Eval (penilaian LLM)](https://broadrouter.com/ms/glossary/eval/) (istilah)
-   [LLM-as-a-judge (LLM sebagai hakim)](https://broadrouter.com/ms/glossary/llm-as-judge/) (istilah)
-   [Kadar ralat perkataan (word error rate, WER)](https://broadrouter.com/ms/glossary/word-error-rate/) (istilah)
-   [Halusinasi AI (AI hallucination)](https://broadrouter.com/ms/glossary/hallucination/) (istilah)
-   [Model open-weight (model pemberat terbuka)](https://broadrouter.com/ms/glossary/open-weight-model/) (istilah)
-   [Cara menilai LLM sebelum bertukar penyedia](https://broadrouter.com/ms/blog/evaluate-llm-before-switching/) (artikel)
-   [Alternatif Artificial Analysis: tempat membandingkan LLM pada 2026](https://broadrouter.com/ms/blog/artificial-analysis-alternatives/) (artikel)
-   [Memilih API LLM untuk bahasa Arab: apa yang perlu diuji](https://broadrouter.com/ms/blog/choosing-an-llm-for-arabic/) (artikel)
-   [API speech-to-text bahasa Arab: cara memilih pada 2026](https://broadrouter.com/ms/blog/arabic-speech-to-text-api-buyers-guide/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-llm-benchmark&utm_content=page-cta) ·

**Sumber**

-   [Hendrycks et al., Measuring Massive Multitask Language Understanding (MMLU), arXiv 2009.03300 (disemak 2026-11-15)](https://arxiv.org/abs/2009.03300)
-   [Jimenez et al., SWE-bench: Can Language Models Resolve Real-World GitHub Issues?, arXiv 2310.06770 (disemak 2026-11-15)](https://arxiv.org/abs/2310.06770)
-   [Xu et al., Benchmark Data Contamination of Large Language Models: A Survey, arXiv 2406.04244 (disemak 2026-11-15)](https://arxiv.org/abs/2406.04244)
-   [BroadNet, halaman model BroadNet Transcribe Arabic: WER dan kedudukan papan pendahulu yang dilaporkan (disemak 2026-11-16) (Bahasa Inggeris)](https://www.broadnet.ai/inference/models/cohere-transcribe-arabic)
