Sebelum bisa membalas pengguna dalam dialeknya, Anda harus tahu dialek apa yang ia pakai. Itulah identifikasi dialek.
Cara kerjanya
Komunitas riset mengukurnya lewat shared task NADI (Nuanced Arabic Dialect Identification). NADI 2020 memakai tweet yang mencakup 100 provinsi di 21 negara Arab, dengan subtugas tingkat negara dan tingkat provinsi. NADI 2024 merumuskan identifikasi dialek sebagai tugas multi-label, karena satu kalimat bisa sah di beberapa dialek, dan menambahkan subtugas tentang tingkat kedialekan. Sistem terbaik di Subtugas 1 meraih F1 50,57, dan penyelenggara menulis bahwa identifikasi dialek masih menantang.
Korpus MADAR (Bouamor dkk., 2018) adalah sumber yang umum dipakai: kalimat domain perjalanan yang sama diterjemahkan ke 25 dialek kota. 2.000 kalimat tersedia di ke-25 dialek; 10.000 kalimat lagi tersedia untuk Doha, Beirut, Kairo, Tunis, dan Rabat. Data paralel seperti ini memperlihatkan bagaimana makna yang sama ditulis di tiap tempat.
Dalam praktik, sebagian besar produk butuh label yang lebih kasar. Satu himpunan yang bisa dipakai:
| Label | Mencakup |
|---|---|
msa |
Arab Standar Modern |
gulf |
Saudi, Emirat, Kuwait, Qatar, Bahrain, Oman |
egyptian |
Mesir |
levantine |
Suriah, Lebanon, Yordania, Palestina |
maghrebi |
Maroko, Aljazair, Tunisia, Libya |
other_or_unclear |
Irak, Yaman, Sudan, campuran atau terlalu pendek |
Prompt LLM untuk tugas ini meminta satu objek JSON: label, tingkat keyakinan, dan kata-kata yang menjadi petunjuk. Misalnya, pesan عايز أغير الباقة akan kembali sebagai:
{"dialect": "egyptian", "confidence": "high", "cues": ["عايز"]}
Meminta petunjuk membuat kesalahan mudah ditinjau: jika petunjuknya kata MSA, labelnya patut dicurigai.
Kenapa ini penting
- Routing. Kirim pelanggan Teluk ke agen Teluk, atau ganti prompt balasan ke dialek pengguna.
- Evaluasi. Bagi set uji ucapan dan chat per dialek. Satu angka rata-rata menyembunyikan kelompok terlemah, seperti yang ditunjukkan artikel pengenalan ucapan dialek.
- Analitik. Ketahui dialek apa yang benar-benar ditulis pengguna Anda sebelum berinvestasi pada salah satunya.
Pesan campuran itu umum. Pengguna berpindah antara dialek, MSA, dan bahasa Inggris dalam satu baris, yang disebut code-switching; sediakan label “tidak jelas” alih-alih memaksakan tebakan.
Di BroadNet Inference
BroadNet tidak punya endpoint identifikasi dialek. Anda bisa membangunnya di atas POST /v1/chat/completions. Referensi API BroadNet mendokumentasikan output terstruktur untuk GLM 5.3 dan Qwen3.8 27B, yang cocok untuk daftar label tetap; lihat output terstruktur. BroadNet melaporkan telah menguji Qwen3.8 27B dengan dialek Teluk dan Mesir yang dipahami. BroadNet tidak memublikasikan akurasi identifikasi dialek untuk model mana pun, jadi labeli sekitar 100 pesan Anda sendiri secara manual dan ukur modelnya terhadap pesan itu sebelum mengandalkannya.
Artikel klasifikasi teks Arab membahas prompt, daftar label, dan penilaian untuk tugas semacam ini, dan bahasa Arab dialek menjelaskan arti label-labelnya.