BroadRouter

Speech recognition dialek Arab: Teluk, Mesir, Levant, Maghribi

Oleh tim BroadNet Inference · 5 menit baca · Dipublikasikan · Diperbarui

Dialek Arab berbeda dari bahasa Arab Standar Modern dalam bunyi, kosakata, dan ejaan, dan penuturnya mencampur bahasa Inggris atau Prancis, sehingga model ASR yang sebagian besar dilatih dengan bahasa Arab formal mendapat skor jauh lebih buruk. Untuk menguji penyedia, susun test set per dialek dari audio nyata Anda, tetapkan konvensi ejaan, lalu hitung WER, CER, dan akurasi entitas per dialek.

Speech-to-text kesulitan dengan dialek Arab karena dialek berbeda dari bahasa Arab Standar Modern (MSA) dalam bunyi, kosakata, dan ejaan, dan penuturnya mencampur bahasa Inggris atau Prancis. Untuk mengetahui hasil sebuah penyedia, susun test set kecil per dialek dari audio nyata Anda dan hitung skor setiap dialek secara terpisah.

Penelepon dari Riyadh, voice note dari Kairo, dan panggilan support dari Casablanca semuanya “bahasa Arab”, dan satu model bisa menangani yang pertama dengan baik tetapi yang ketiga dengan buruk.

Artikel ini menjelaskan apa yang membuat setiap kelompok dialek utama sulit bagi speech recognition, dan cara menyusun tes yang menunjukkan hasil penyedia pada dialek Anda. Untuk checklist pembelian yang lebih luas (harga, batas, privasi), lihat panduan memilih API speech-to-text bahasa Arab.

Mengapa dialek Arab sulit untuk speech recognition?

Empat masalah menumpuk:

  1. Bunyi yang berbeda. Huruf yang sama dilafalkan berbeda di tiap wilayah, sehingga model akustik harus memetakan beberapa bunyi ke satu ejaan.
  2. Kosakata yang berbeda. Kata sehari-hari berbeda antardialek. Model yang sebagian besar dilatih dengan MSA bisa “mengoreksi” kata dialek menjadi padanan formalnya, dan itu dihitung sebagai kesalahan jika referensi Anda verbatim.
  3. Tidak ada ejaan baku. Dialek ditulis secara informal, sehingga dua transkriptor manusia pun bisa berbeda pendapat. Data latih juga tidak merata: studi tahun 2024 tentang cakupan dialek mencatat bahwa sistem ASR yang ada “mainly cover the modern standard Arabic (MSA) variety and few high-resource dialects” (Terjemahan BroadRouter: sebagian besar mencakup ragam bahasa Arab Standar Modern (MSA) dan sedikit dialek yang sumber datanya melimpah) (arXiv 2411.05872).
  4. Code-switching. Penutur berpindah ke bahasa Inggris atau Prancis di tengah kalimat. Dataset Casablanca, yang mencakup delapan dialek, memberi anotasi code-switching bersama dialek dan gender.

Makalah Open Universal Arabic ASR Leaderboard (Interspeech 2025) mengevaluasi model open source di beberapa test set multidialek justru karena alasan ini: satu skor bahasa Arab menyembunyikan sebarannya.

Bagaimana setiap dialek Arab menyulitkan speech recognition?

Kelompok dialek Wilayah Titik masalah ASR yang umum
Teluk (Khaleeji) Arab Saudi, UEA, Kuwait, Qatar, Bahrain, Oman Nama produk, angka, dan istilah merek berbahasa Inggris yang tercampur; pelafalan regional qaf dan kaf
Mesir Mesir Jim dilafalkan sebagai g keras; qaf sering menjadi hentian glotal; sangat umum di media, jadi model biasanya lebih banyak melihatnya
Levant Suriah, Lebanon, Yordania, Palestina Qaf perkotaan menjadi hentian glotal; bahasa Prancis atau Inggris tercampur, terutama di Lebanon
Maghribi (Darija) Maroko, Aljazair, Tunisia, Libya Paling jauh dari MSA; vokal pendek dihilangkan; code-switching bahasa Prancis yang berat; kata serapan Amazigh
Irak Irak Kosakata dan pelafalan khas; audio latih publik lebih sedikit

Ini kecenderungan, bukan aturan. Ucapan kota dan desa berbeda di dalam setiap kelompok, dan penutur muda lebih sering melakukan code-switching. Intinya, setiap kelompok gagal dengan caranya sendiri, jadi Anda menilai setiap kelompok secara terpisah.

Bagaimana menyusun test set dialek Arab?

1. Ambil sampel audio nyata per dialek

Ambil 30 sampai 50 klip per dialek dari kanal yang akan Anda jalankan di produksi: panggilan telepon, voice note WhatsApp, rekaman rapat. Audio telepon 8 kHz berperilaku berbeda dari audio studio. Beri label dialek pada setiap klip, dan tandai klip yang berisi bahasa Inggris atau Prancis.

2. Sepakati konvensi ejaan lebih dulu

Sebelum siapa pun menulis referensi, putuskan:

  • Verbatim sesuai dialek (tulis apa yang diucapkan, dengan ejaan dialek), atau
  • Dinormalisasi (dipetakan ke bentuk yang konsisten).

Tuliskan pilihan itu beserta contohnya. Jika referensi verbatim dan model mengeluarkan kata yang mirip MSA, WER akan terlihat buruk sekali meskipun maknanya benar. Tidak ada pilihan yang salah. Pilihan itu harus sesuai dengan kebutuhan sistem hilir Anda.

3. Tulis referensi untuk 10 klip per dialek

Minta penutur asli dialek tersebut mentranskripsikannya. Untuk klip code-switching, putuskan apakah kata bahasa Inggris tetap ditulis dalam huruf Latin, lalu terapkan di mana-mana.

4. Normalisasi kedua sisi, lalu hitung skor

Hapus harakat, satukan bentuk alif (إ أ آ menjadi ا) dan ya akhir (ى menjadi ي), hapus tanda baca, dan ubah digit Arab Timur menjadi digit Barat. Lalu hitung:

Metrik Alasan
WER per dialek Ukuran standar; ketat terhadap klitik dan prefiks
CER per dialek Lebih toleran terhadap variasi ejaan
Akurasi entitas Porsi angka, tanggal, dan nama yang ditranskripsikan persis
WER kelompok code-switching Menunjukkan apakah kata bahasa Inggris atau Prancis bertahan

Paket jiwer menghitung WER dan CER; penjelasan WER bahasa Arab berisi fungsi normalisasi yang bisa Anda pakai ulang dan contoh perhitungan seberapa besar normalisasi mengubah skor.

5. Baca transkripnya

Angka menentukan apakah alur kerja call center atau perbankan berjalan. Baca 20 transkrip per dialek dan cek setiap angka, tanggal, dan nama secara manual.

Apa arti angka WER bahasa Arab yang dipublikasikan?

Benchmark publik memberi arah, bukan janji. BroadNet memublikasikan tiga angka WER untuk BroadNet Transcribe Arabic di katalog modelnya: 3,8 di FLEURS-ar (ucapan bersih yang dibacakan), 21,1 di MASC-ar (ucapan dunia nyata campuran), dan 23,4 di set dialeknya sendiri. Itu lonjakan enam kali lipat untuk model yang sama antara ucapan yang dibacakan dan ucapan dialek, dan itulah sebabnya Anda menguji dengan dialek Anda sendiri.

Saat membandingkan penyedia, bandingkan di test set yang sama. Leaderboard seperti Open Universal Arabic ASR Leaderboard berguna karena setiap model dinilai dengan cara yang sama. Angka sebuah vendor di set miliknya sendiri tidak bisa dibandingkan dengan angka vendor lain.

LLM mana yang sebaiknya membaca transkrip dialek?

Transkrip biasanya diteruskan ke LLM: untuk meringkas panggilan, merutekan tiket, atau menjawab pertanyaan. Model itu juga perlu bisa membaca dialek. Panduan memilih LLM untuk bahasa Arab membahas cara mengujinya, dan Qwen3.8 27B adalah model yang diuji BroadNet pada dialek Teluk dan Mesir.

Posisi BroadNet Inference

BroadNet Transcribe Arabic dibuat untuk bahasa Arab termasuk dialeknya, berharga $0.0042 per menit ($0.25 per jam), dan BroadNet melaporkan model ini #2 dari 37 (angka September 2026; papan peringkat langsung mencantumkannya di #4 dari 39 pada 15 November 2026) di Open Universal Arabic ASR Leaderboard, serta #1 di antara model yang lisensinya mengizinkan penyajian lewat API. Untuk angka, tanggal, dan nama di audio yang bising, BroadNet menawarkan versi fine-tuned atas permintaan. Kredit awal $5 mencakup sekitar 1,190 menit, cukup untuk seluruh tes di atas; kalkulator biaya speech-to-text mengubah volume produksi Anda menjadi tagihan bulanan. Buat kunci API untuk mulai.

BroadNet tidak memublikasikan angka WER terpisah untuk setiap kelompok dialek. Justru itu alasan Anda perlu menjalankan tes ini: angka set dialeknya hanya satu angka, sementara pelanggan Anda berbicara satu atau dua dialek, bukan semuanya.

Pertanyaan umum

Dialek Arab mana yang paling sulit untuk speech recognition?

Tidak ada peringkat yang berlaku umum; semuanya bergantung pada data latih model. Dialek Maghribi seperti bahasa Arab Maroko dan Aljazair sering sulit karena paling jauh dari bahasa Arab Standar Modern dan bercampur bahasa Prancis. Uji dialek Anda sendiri daripada mengandalkan peringkat umum.

Apakah speech-to-text bisa memahami bahasa Arab Mesir?

Sering kali lebih baik daripada dialek yang lebih jarang, karena bahasa Arab Mesir banyak dipakai di media, tetapi tetap harapkan akurasi yang lebih rendah daripada bahasa Arab formal. Ukur di rekaman Anda sendiri.

Sebaiknya saya memakai WER atau CER untuk bahasa Arab?

Pakai keduanya. WER menghitung kata utuh, jadi satu prefiks atau klitik yang salah membuat seluruh kata salah. CER menghitung karakter dan lebih toleran terhadap variasi ejaan, yang penting untuk dialek tanpa ejaan baku.

Berapa banyak klip audio yang saya perlukan untuk menguji penyedia ASR bahasa Arab?

Sekitar 30 sampai 50 klip nyata per dialek, dengan minimal 10 per dialek ditranskripsikan manual sebagai referensi. Itu cukup untuk melihat perbedaan besar antarpenyedia.

Apakah kode bahasa berpengaruh untuk dialek Arab?

Kirim language=ar. Di sebagian besar API, semua dialek memakai kode ar yang sama. Tanpa kode itu, beberapa model mengembalikan ucapan Arab dalam bentuk transliterasi huruf Latin.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity