BroadRouter

Kadar ralat perkataan (WER) ASR bahasa Arab: penjelasan

Oleh pasukan BroadNet Inference · 5 minit bacaan · Diterbitkan

Kadar ralat perkataan (WER) ialah bilangan perkataan yang diganti, dipadam dan disisipkan dibahagi dengan bilangan perkataan dalam transkrip rujukan. Lebih rendah lebih baik. WER bahasa Arab sukar dibandingkan kerana diakritik, ejaan alef dan ta marbuta serta dialek menaikkannya. BroadNet melaporkan WER 3.8 pada FLEURS-ar dan 23.4 pada pertuturan dialek bagi BroadNet Transcribe Arabic.

Kadar ralat perkataan (WER) ialah bilangan perkataan yang diganti, dipadam dan disisipkan dibahagi dengan bilangan perkataan dalam transkrip yang betul. Lebih rendah lebih baik. WER bahasa Arab mudah melambung: transkrip betul yang sama boleh ditulis dalam beberapa cara, dan perbandingan naif mengira setiap pilihan ejaan, diakritik dan ejaan dialek sebagai kesilapan.

Artikel ini menerangkan apa yang diukur oleh WER, mengapa bahasa Arab menjadikannya licin, dan cara mengiranya supaya angka anda bermakna. Untuk membina set ujian itu sendiri, lihat pengecaman pertuturan dialek Arab; untuk memilih penyedia, lihat panduan pembeli API speech-to-text bahasa Arab.

Apakah itu kadar ralat perkataan?

Kadar ralat perkataan membandingkan transkrip mesin (hipotesis) dengan transkrip manusia yang betul (rujukan). Ia mencari bilangan minimum suntingan perkataan yang mengubah satu menjadi yang lain:

  • S, penggantian (substitutions): perkataan yang diganti dengan perkataan lain.
  • D, pemadaman (deletions): perkataan rujukan yang tiada dalam hipotesis.
  • I, sisipan (insertions): perkataan tambahan dalam hipotesis.

Kemudian:

WER = (S + D + I) / N, dengan N ialah bilangan perkataan dalam rujukan.

WER 0.10 (sering ditulis sebagai 10) bermaksud kira-kira satu ralat bagi setiap sepuluh perkataan rujukan. Lebih rendah lebih baik. Oleh sebab sisipan dikira, WER boleh melebihi 100% bagi transkrip yang penuh dengan perkataan rekaan.

Kadar ralat aksara (CER) ialah formula yang sama pada aksara. Ia berguna untuk bahasa Arab, di mana satu huruf salah dalam awalan menjadikan seluruh perkataan dikira salah.

Mengapakah WER bahasa Arab sukar dibandingkan?

1. Diakritik

Vokal pendek bahasa Arab ditulis sebagai tanda pilihan (tashkeel) di atas dan di bawah huruf: fatha, damma, kasra, sukun, shadda dan tanween. Teks harian tidak menggunakannya. Jika rujukan anda mengandungi “مَدْرَسَةٌ” dan model menulis “مدرسة”, perbandingan ketat mengira satu penggantian, walaupun mana-mana pembaca bahasa Arab melihat perkataan yang sama.

2. Varian ejaan

Beberapa huruf mempunyai varian biasa yang diterima:

Variasi Contoh Normalisasi biasa
Hamza pada alef أحمد / احمد, إلى / الى Petakan أ إ آ kepada ا
Ta marbuta berbanding ha مدرسة / مدرسه Petakan ة kepada ه
Alef maqsura berbanding ya على / علي (dalam penulisan longgar) Petakan ى kepada ي
Tanween dengan alef صباحاً / صباحا Buang diakritik
Tatweel (pemanjangan) جـمـيـل / جميل Buang ـ

3. Klitik dan sempadan perkataan

Bahasa Arab mencantumkan kata hubung, kata sendi dan kata ganti nama pada perkataan: “وبمدرستهم” bermaksud “and in their school” (dan di sekolah mereka) dalam satu perkataan bertulis. Jika model menulis “و بمدرستهم” dengan ruang, bilangan perkataan berubah dan WER menghukumnya dua kali. Sesetengah penilaian memecahkan perkataan kepada morfem dahulu; kebanyakannya tidak. Ketahui yang mana satu sedang anda baca.

4. Dialek

Tiada ejaan piawai untuk pertuturan dialek, tidak seperti bahasa Arab Standard Moden. Penutur Mesir yang berkata “I want” (saya mahu) mungkin ditranskripsikan “عايز” atau “عاوز”; “what” (apa) penutur Teluk mungkin “وش” atau “ويش”. Sesetengah penyalin juga “membetulkan” dialek ke MSA. Setiap satu ini ialah ralat WER walaupun maknanya sempurna. Itu sebahagian besar sebab WER dialek jauh lebih tinggi daripada WER pertuturan yang dibaca.

5. Nombor dan pertukaran kod

Penutur sering beralih ke bahasa Inggeris di tengah ayat (pertukaran kod). Adakah ia “٢٥”, “25” atau “خمسة وعشرين”? Adakah nama jenama Inggeris ditulis dalam skrip Rumi atau huruf Arab? Tetapkan satu konvensyen, gunakannya pada rujukan, dan normalkan hipotesis mengikutnya.

Sebanyak manakah normalisasi mengubah skor?

Rujukan: ذهبت إلى المدرسة صباحاً (“I went to school in the morning”, Saya pergi ke sekolah pada waktu pagi)

Hipotesis: ذهبت الى المدرسه صباحا

Tanpa normalisasi, tiga daripada empat perkataan berbeza (إلى/الى, المدرسة/المدرسه, صباحاً/صباحا): WER 75%. Selepas menormalkan kedua-dua teks, ia serupa: WER 0%. Transkrip sama, kualiti sama, dan angkanya bergerak daripada teruk kepada sempurna. Inilah sebabnya angka WER tanpa peraturan normalisasinya tidak banyak memberitahu.

Bagaimanakah mengira WER bahasa Arab dalam Python?

import re
import jiwer  # pip install jiwer

DIACRITICS = re.compile(r"[ً-ْٰ]")   # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")

def normalise_ar(text: str) -> str:
    text = DIACRITICS.sub("", text)
    text = text.replace("ـ", "")                # tatweel
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
    text = PUNCT.sub(" ", text)
    return " ".join(text.split())

refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]

print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))

Gunakan fungsi yang betul-betul sama pada rujukan dan hipotesis, bagi setiap model yang anda bandingkan. Terbitkannya di sebelah angka anda.

Berapakah WER bahasa Arab yang dilaporkan oleh BroadNet?

BroadNet menerbitkan pengukuran makmal bagi BroadNet Transcribe Arabic dalam katalog modelnya:

Set ujian Apakah ia WER dilaporkan oleh BroadNet
FLEURS-ar Ayat yang dibaca dengan jelas 3.8
MASC-ar Pertuturan Arab dunia sebenar yang bercampur 21.1
Set dialek BroadNet Pertuturan dialek 23.4

BroadNet juga melaporkan model ini di #2 daripada 37 (angka September 2026; papan kedudukan langsung menyenaraikannya di #4 daripada 39 pada 15 November 2026) pada Open Universal Arabic ASR Leaderboard, dan #1 dalam kalangan model yang lesennya membenarkan perkhidmatan melalui API. Ini angka BroadNet, bukan audit bebas. Papan pendahulu itu menggunakan satu persediaan penilaian bagi setiap model, yang menjadikan kedudukannya lebih mudah dibandingkan berbanding angka daripada halaman vendor yang berasingan.

Baca julatnya, bukan sekadar angka terbaik. Lonjakan daripada 3.8 kepada 23.4 ialah jurang antara pertuturan yang dibaca dan dialek spontan bagi satu model, jadi uji setiap calon pada kedua-dua jenis audio. Audio anda sendiri, sama ada talian pusat panggilan, nota suara WhatsApp atau mesyuarat, akan jatuh di suatu tempat dalam julat itu, dan hanya ujian yang boleh memberitahu di mana.

Bagaimanakah mengukur WER pada audio anda sendiri?

  1. Ambil sampel mengikut keadaan. Kumpulkan klip mengikut dialek dan saluran (telefon, nota suara, studio). Kaedah set ujian dialek membincangkan saiz sampel dan konvensyen ejaan.
  2. Transkripsikan dengan setiap calon. Untuk BroadNet, hantar language=ar; tanpanya, bahasa Arab mungkin dipulangkan dalam bentuk transliterasi huruf Rumi. Panduan speech-to-text bahasa Arab mengandungi kodnya, dan kredit permulaan $5 meliputi kira-kira 1,190 minit audio.
  3. Normalkan dan skor. Gunakan fungsi di atas, laporkan WER dan CER bagi setiap kumpulan.
  4. Baca ralatnya. Isih penggantian mengikut kekerapan. Jika ralat teratas ialah nama, jumlah wang atau kod produk, kesan perniagaannya lebih besar daripada yang dicadangkan oleh skor.

Apakah yang patut diukur selain WER?

WER melayan setiap perkataan secara sama rata, tetapi produk anda tidak. Bot sokongan mementingkan niat; aliran kerja invois mementingkan nombor; pasukan pematuhan mementingkan frasa tertentu. Tambah metrik tugas di sebelah WER: ketepatan niat selepas LLM membaca transkrip, atau padanan tepat pada jumlah yang diekstrak. Model dengan WER sedikit lebih tinggi masih boleh menang jika ralatnya jatuh pada perkataan yang tidak penting.

Bagi sisi kos, masukkan jam audio bulanan anda ke dalam kalkulator kos speech-to-text percuma, dan lihat perbezaan model bahasa Arab dan model 14 bahasa dalam BroadNet Transcribe vs Transcribe Arabic.

Soalan lazim

Berapakah WER bahasa Arab yang baik?

Pada pertuturan yang dibaca dengan jelas, angka satu digit boleh dicapai; BroadNet melaporkan 3.8 pada FLEURS-ar. Pada audio dunia sebenar dan dialek, jangkakan angka yang jauh lebih tinggi; BroadNet melaporkan 21.1 pada MASC-ar dan 23.4 pada set dialeknya. Bandingkan model pada audio anda sendiri dengan normalisasi yang sama.

Patutkah saya membuang diakritik sebelum mengira WER bahasa Arab?

Biasanya ya. Kebanyakan teks Arab ditulis tanpa tanda vokal pendek, dan model menambahkannya secara tidak konsisten. Buang tanda itu daripada rujukan dan hipotesis melainkan produk anda memerlukan teks bervokal.

Apakah itu CER dan bilakah saya patut menggunakannya?

Kadar ralat aksara ialah pengiraan yang sama tetapi pada aksara, bukan perkataan. Ia kurang keras terhadap bahasa Arab, di mana satu huruf awalan yang salah menjadikan seluruh perkataan salah, dan berguna bersama WER.

Bolehkah WER melebihi 100%?

Boleh. Sisipan dikira sebagai ralat, jadi model yang mereka-reka banyak perkataan tambahan boleh menghasilkan lebih banyak ralat daripada bilangan perkataan dalam rujukan.

Bagaimanakah saya mengira WER bahasa Arab dalam Python?

Pasang jiwer, normalkan rujukan dan output model dengan fungsi yang sama (buang diakritik dan tatweel, seragamkan alef, yaa dan ta marbuta, tukar digit Arab Timur), kemudian panggil jiwer.wer(references, hypotheses). Laporkan normalisasi di sebelah skor.

Mengapakah WER bahasa Arab lebih tinggi daripada WER bahasa Inggeris?

Sebahagiannya kesukaran sebenar (dialek, klitik, pertukaran kod) dan sebahagiannya cara pemarkahan: bahasa Arab mempunyai varian ejaan yang diterima dan diakritik pilihan, dan perbandingan ketat mengira setiap satu sebagai ralat. Menormalkan kedua-dua teks menghapuskan bahagian pemarkahan itu.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity