BroadRouter

Word error rate (WER) ASR bahasa Arab: penjelasan lengkap

Oleh tim BroadNet Inference · 5 menit baca · Dipublikasikan

Word error rate (WER) adalah jumlah kata yang diganti, dihapus, dan disisipkan dibagi jumlah kata di transkrip referensi. Makin rendah makin baik. WER bahasa Arab sulit dibandingkan karena harakat, ejaan alif dan ta marbuta, serta dialek menggelembungkannya. BroadNet melaporkan WER 3,8 di FLEURS-ar dan 23,4 pada ucapan dialek untuk BroadNet Transcribe Arabic.

Word error rate (WER) adalah jumlah kata yang diganti, dihapus, dan disisipkan dibagi jumlah kata di transkrip yang benar. Makin rendah makin baik. WER bahasa Arab mudah menggelembung: transkrip benar yang sama bisa ditulis dengan beberapa cara, dan perbandingan naif menghitung setiap pilihan ejaan, harakat, dan ejaan dialek sebagai kesalahan.

Artikel ini menjelaskan apa yang diukur WER, kenapa bahasa Arab membuatnya licin, dan cara menghitungnya agar angka Anda bermakna. Untuk membangun set ujinya, lihat speech recognition dialek bahasa Arab; untuk memilih penyedia, lihat panduan membeli API speech-to-text bahasa Arab.

Apa itu word error rate?

Word error rate membandingkan transkrip mesin (hipotesis) dengan transkrip manusia yang benar (referensi). WER mencari jumlah minimum suntingan kata yang mengubah satu menjadi yang lain:

  • S, substitusi: kata yang diganti dengan kata lain.
  • D, penghapusan (deletion): kata referensi yang hilang dari hipotesis.
  • I, penyisipan (insertion): kata tambahan di hipotesis.

Lalu:

WER = (S + D + I) / N, dengan N adalah jumlah kata di referensi.

WER 0,10 (sering ditulis 10) berarti kira-kira satu kesalahan per sepuluh kata referensi. Makin rendah makin baik. Karena penyisipan ikut dihitung, WER bisa melampaui 100% untuk transkrip yang penuh kata karangan.

Character error rate (CER) adalah rumus yang sama per karakter. CER berguna untuk bahasa Arab, di mana satu huruf salah pada prefiks membuat seluruh kata dihitung salah.

Kenapa WER bahasa Arab sulit dibandingkan?

1. Harakat

Vokal pendek bahasa Arab ditulis sebagai tanda opsional (tasykil) di atas dan di bawah huruf: fathah, dammah, kasrah, sukun, syaddah, dan tanwin. Teks sehari-hari tidak menuliskannya. Jika referensi Anda berisi “مَدْرَسَةٌ” dan model menulis “مدرسة”, perbandingan ketat menghitung satu substitusi, padahal setiap pembaca bahasa Arab melihat kata yang sama.

2. Varian ejaan

Beberapa huruf punya varian yang umum dan diterima:

Variasi Contoh Normalisasi umum
Hamzah pada alif أحمد / احمد, إلى / الى Petakan أ إ آ ke ا
Ta marbuta vs ha مدرسة / مدرسه Petakan ة ke ه
Alif maqsura vs ya على / علي (dalam tulisan longgar) Petakan ى ke ي
Tanwin dengan alif صباحاً / صباحا Hapus harakatnya
Tatwil (pemanjangan) جـمـيـل / جميل Hapus ـ

3. Klitik dan batas kata

Bahasa Arab menempelkan kata sambung, kata depan, dan kata ganti ke kata: “وبمدرستهم” berarti “dan di sekolah mereka” dalam satu kata tertulis. Jika model menulis “و بمدرستهم” dengan spasi, jumlah kata berubah dan WER menghukumnya dua kali. Sebagian evaluasi memecah kata menjadi morfem lebih dulu; sebagian besar tidak. Ketahui mana yang sedang Anda baca.

4. Dialek

Tidak ada ejaan standar untuk ucapan dialek, berbeda dengan bahasa Arab Standar Modern. Penutur Mesir yang mengatakan “saya mau” bisa ditranskripsikan “عايز” atau “عاوز”; “apa” penutur Teluk bisa jadi “وش” atau “ويش”. Sebagian transkriber juga “mengoreksi” dialek menjadi MSA. Masing-masing dihitung sebagai kesalahan WER meski maknanya sempurna. Itu sebagian besar alasan WER dialek jauh lebih tinggi daripada WER ucapan yang dibacakan.

5. Angka dan alih kode

Penutur sering beralih ke bahasa Inggris di tengah kalimat (code-switching). Apakah “٢٥”, “25”, atau “خمسة وعشرين”? Apakah nama merek bahasa Inggris ditulis dengan aksara Latin atau huruf Arab? Tetapkan konvensi, terapkan pada referensi, dan normalisasi hipotesis mengikutinya.

Seberapa besar normalisasi mengubah skor?

Referensi: ذهبت إلى المدرسة صباحاً (“Saya pergi ke sekolah pagi tadi”)

Hipotesis: ذهبت الى المدرسه صباحا

Tanpa normalisasi, tiga dari empat kata berbeda (إلى/الى, المدرسة/المدرسه, صباحاً/صباحا): WER 75%. Setelah kedua teks dinormalisasi, keduanya identik: WER 0%. Transkrip sama, kualitas sama, dan angkanya bergeser dari sangat buruk ke sempurna. Inilah sebabnya angka WER tanpa aturan normalisasinya hanya memberi sedikit informasi.

Bagaimana menghitung WER bahasa Arab di Python?

import re
import jiwer  # pip install jiwer

DIACRITICS = re.compile(r"[ً-ْٰ]")   # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")

def normalise_ar(text: str) -> str:
    text = DIACRITICS.sub("", text)
    text = text.replace("ـ", "")                # tatweel
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
    text = PUNCT.sub(" ", text)
    return " ".join(text.split())

refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]

print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))

Terapkan fungsi yang persis sama pada referensi dan hipotesis, untuk setiap model yang Anda bandingkan. Publikasikan fungsi itu di samping angka Anda.

Berapa WER bahasa Arab yang dilaporkan BroadNet?

BroadNet menerbitkan pengukuran laboratorium untuk BroadNet Transcribe Arabic di katalog modelnya:

Set uji Isinya WER menurut BroadNet
FLEURS-ar Kalimat yang dibacakan dengan jelas 3,8
MASC-ar Ucapan bahasa Arab dunia nyata yang beragam 21,1
Set dialek BroadNet Ucapan dialek 23,4

BroadNet juga melaporkan model ini di posisi #2 dari 37 (angka September 2026; papan peringkat langsung mencantumkannya di #4 dari 39 pada 15 November 2026) pada Open Universal Arabic ASR Leaderboard, dan nomor 1 di antara model yang lisensinya mengizinkan penyajian lewat API. Ini angka BroadNet, bukan audit independen. Leaderboard menerapkan satu penyiapan evaluasi untuk setiap model, sehingga peringkatnya lebih bisa dibandingkan daripada angka dari halaman vendor yang terpisah-pisah.

Baca rentangnya, bukan hanya angka terbaik. Lonjakan dari 3,8 ke 23,4 adalah jarak antara ucapan yang dibacakan dan dialek spontan untuk satu model, jadi uji setiap kandidat pada kedua jenis audio. Audio Anda sendiri, entah saluran call center, voice note WhatsApp, atau rapat, akan jatuh di suatu tempat dalam rentang itu, dan hanya pengujian yang bisa memberi tahu di mana.

Bagaimana mengukur WER pada audio Anda sendiri?

  1. Ambil sampel per kondisi. Kelompokkan klip berdasarkan dialek dan saluran (telepon, voice note, studio). Metode set uji dialek membahas ukuran sampel dan konvensi ejaan.
  2. Transkripsikan dengan setiap kandidat. Untuk BroadNet, kirim language=ar; tanpa itu, bahasa Arab bisa kembali dalam bentuk transliterasi huruf Latin. Panduan speech-to-text bahasa Arab berisi kodenya, dan kredit awal $5 mencakup sekitar 1,190 menit audio.
  3. Normalisasi dan nilai. Pakai fungsi di atas, laporkan WER dan CER per kelompok.
  4. Baca kesalahannya. Urutkan substitusi berdasarkan frekuensi. Jika kesalahan teratas adalah nama, nominal, atau kode produk, dampak bisnisnya lebih besar daripada yang ditunjukkan skor.

Apa yang perlu diukur selain WER?

WER memperlakukan setiap kata sama, tetapi produk Anda tidak. Bot support peduli pada intent; alur penagihan peduli pada angka; tim kepatuhan peduli pada frasa tertentu. Tambahkan metrik tugas di samping WER: akurasi intent setelah LLM membaca transkrip, atau kecocokan persis pada nominal yang diekstrak. Model dengan WER sedikit lebih tinggi tetap bisa menang jika kesalahannya jatuh pada kata yang tidak penting.

Untuk sisi biaya, masukkan jam audio bulanan Anda ke kalkulator biaya speech-to-text gratis, dan lihat bedanya model bahasa Arab dengan model 14 bahasa di BroadNet Transcribe vs Transcribe Arabic.

Pertanyaan umum

Berapa WER bahasa Arab yang bagus?

Pada ucapan yang dibacakan dengan jelas, angka satu digit bisa dicapai; BroadNet melaporkan 3,8 di FLEURS-ar. Pada audio dunia nyata dan dialek, harapkan angka yang jauh lebih tinggi; BroadNet melaporkan 21,1 di MASC-ar dan 23,4 di set dialeknya. Bandingkan model pada audio Anda sendiri dengan normalisasi yang sama.

Apakah saya harus menghapus harakat sebelum menghitung WER bahasa Arab?

Biasanya ya. Sebagian besar teks bahasa Arab ditulis tanpa tanda vokal pendek, dan model menambahkannya secara tidak konsisten. Hapus dari referensi maupun hipotesis kecuali produk Anda butuh teks berharakat.

Apa itu CER dan kapan sebaiknya dipakai?

Character error rate adalah perhitungan yang sama, tetapi per karakter, bukan per kata. CER lebih lunak untuk bahasa Arab, di mana satu huruf prefiks yang salah membuat seluruh kata salah, dan berguna berdampingan dengan WER.

Apakah WER bisa lebih dari 100%?

Bisa. Penyisipan dihitung sebagai kesalahan, jadi model yang mengarang banyak kata tambahan bisa membuat lebih banyak kesalahan daripada jumlah kata di referensi.

Bagaimana cara menghitung WER bahasa Arab di Python?

Instal jiwer, normalisasi referensi dan output model dengan fungsi yang sama (hapus harakat dan tatwil, seragamkan alif, ya, dan ta marbuta, konversi angka Arab Timur), lalu panggil jiwer.wer(references, hypotheses). Laporkan normalisasinya di samping skor.

Kenapa WER bahasa Arab lebih tinggi daripada WER bahasa Inggris?

Sebagian karena kesulitan nyata (dialek, klitik, alih kode) dan sebagian karena cara penilaian: bahasa Arab punya varian ejaan yang diterima dan harakat opsional, dan perbandingan ketat menghitung masing-masing sebagai kesalahan. Menormalisasi kedua teks menghilangkan bagian yang berasal dari penilaian.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity