Sebuah model bisa mendapat skor bagus di benchmark bahasa Arab tetapi tetap tersandung pada voice note dari Riyadh atau pesan chat dari Casablanca. Itulah dialek, dan ujiannya berbeda dari Bahasa Arab Standar Modern.
Cara kerjanya
Bouamor dkk. (2018), yang membangun korpus MADAR, menggambarkan bahasa Arab sebagai “a family of varieties” (terjemahan: sebuah keluarga ragam bahasa). MSA adalah bahasa bersama untuk budaya, media, dan pendidikan “from Morocco to Oman” (terjemahan: dari Maroko hingga Oman), tetapi bukan bahasa ibu penutur mana pun. Dialek biasanya dikelompokkan per wilayah, yaitu Mesir, Afrika Utara, Levant, Teluk, dan Yaman, atau per subwilayah, seperti Tunisia, Lebanon, Kuwait, dan seterusnya. Dialek berbeda dari MSA dalam bunyi, kosakata, dan morfologi, dan dalam kadar yang lebih kecil juga berbeda dari kota ke kota.
Tiga perbedaan paling penting untuk perangkat lunak:
- Bunyi. Contoh dari MADAR adalah huruf qaf (ق). Dalam bahasa Arab Tunisia huruf ini tetap /q/, dekat dengan MSA; dalam bahasa Arab Mesir dan Levant menjadi hentian glotal; dalam bahasa Arab Teluk menjadi /g/. Model ucapan harus memetakan ketiganya kembali ke kata tertulis yang sama.
- Kosakata. Kata sehari-hari berbeda. “Saya mau” adalah أريد dalam MSA, عايز dalam bahasa Arab Mesir, بدي dalam bahasa Arab Levant, أبي atau أبغى dalam bahasa Arab Teluk, dan بغيت dalam bahasa Arab Maroko.
- Ejaan. MADAR mencatat bahwa MSA punya ortografi baku, sedangkan dialek tidak. Orang menulis berdasarkan bunyi atau etimologi, dan kadang dengan huruf Latin sebagai Arabizi. Penutur juga mencampur bahasa Inggris atau Prancis, yang disebut code-switching.
Dialek juga makin sering ditulis. MADAR menyebutnya sebagai bahasa tulis utama yang sedang tumbuh untuk komunikasi informal di internet. NADI 2020 membangun shared task dari tweet yang mencakup 100 provinsi di 21 negara Arab.
Mengapa penting
- Bot chat dan layanan pelanggan. Pengguna menulis seperti mereka berbicara. Aturan intent, pencarian kata kunci, dan model sentimen yang dilatih dengan MSA melewatkan kata-kata dialek. Lihat dialek Teluk dan Mesir dengan LLM.
- Speech-to-text. Audio berdialek mendapat skor jauh lebih buruk daripada MSA yang dibacakan pada model yang sama. Buat set uji per dialek, seperti dijelaskan di artikel pengenalan ucapan dialek.
- Routing. Jika balasan, peninjau, atau prompt berbeda per wilayah, beri label dialek terlebih dahulu dengan identifikasi dialek bahasa Arab.
Di BroadNet Inference
BroadNet mencantumkan BroadNet Transcribe Arabic untuk bahasa Arab Teluk, Mesir, Levant, Maghribi, dan Standar Modern. BroadNet melaporkan word error rate 3,8 pada ucapan yang dibacakan FLEURS-ar dan 23,4 pada set dialek Teluk, Mesir, dan Levant miliknya sendiri, keduanya pengukuran BroadNet. Selisih itu adalah efek dialek. Kirim language=ar untuk semuanya; dokumentasi BroadNet memperingatkan bahwa jika tidak, bahasa Arab bisa kembali dalam bentuk transliterasi huruf Latin.
Untuk teks, BroadNet melaporkan telah menguji Qwen3.8 27B dalam bahasa Arab dengan dialek Teluk dan Mesir dapat dipahami. BroadNet tidak menerbitkan hasil untuk teks Levant atau Maghribi, jadi uji keduanya dengan pesan Anda sendiri. Panduan LLM bahasa Arab membandingkan model-modelnya, dan panduan speech-to-text bahasa Arab berisi kode yang siap jalan.
Kesalahan umum
- Hanya menguji dengan teks berita MSA, lalu merilis ke pengguna yang menulis dalam dialek.
- Merata-ratakan WER lintas dialek, yang menyembunyikan dialek terlemah.
- Menormalisasi ejaan dialek ke MSA pada teks yang Anda tampilkan ke pengguna.