Sebelum anda boleh menjawab pengguna dalam dialeknya, anda perlu tahu dialek mana yang ditulisnya. Itulah pengecaman dialek.
Cara ia berfungsi
Komuniti penyelidikan mengukur perkara ini melalui shared task NADI (Nuanced Arabic Dialect Identification). NADI 2020 menggunakan tweet yang meliputi 100 wilayah di 21 negara Arab, dengan subtugas peringkat negara dan subtugas peringkat wilayah. NADI 2024 merangka pengecaman dialek sebagai tugas berbilang label, kerana satu ayat boleh sah dalam beberapa dialek, dan menambah subtugas tentang tahap kedialekan. Sistem terbaik Subtugas 1 mencatat 50.57 F1, dan penganjur menulis bahawa pengecaman dialek masih mencabar.
Korpus MADAR (Bouamor et al., 2018) ialah sumber yang biasa digunakan: ayat domain pelancongan yang sama diterjemahkan ke dalam dialek 25 bandar. 2,000 ayat wujud dalam kesemua 25; 10,000 lagi wujud untuk Doha, Beirut, Kaherah, Tunis dan Rabat. Data selari seperti ini membolehkan anda melihat cara maksud yang sama ditulis di setiap tempat.
Dalam amalan, kebanyakan produk memerlukan label yang lebih kasar. Satu set yang boleh digunakan:
| Label | Meliputi |
|---|---|
msa |
Bahasa Arab Standard Moden |
gulf |
Saudi, Emiriah, Kuwait, Qatar, Bahrain, Oman |
egyptian |
Mesir |
levantine |
Syria, Lubnan, Jordan, Palestin |
maghrebi |
Maghribi, Algeria, Tunisia, Libya |
other_or_unclear |
Iraq, Yaman, Sudan, bercampur atau terlalu pendek |
Prompt LLM untuk tugas ini meminta satu objek JSON: label, tahap keyakinan, dan perkataan yang mendedahkannya. Contohnya, mesej عايز أغير الباقة akan dipulangkan sebagai:
{"dialect": "egyptian", "confidence": "high", "cues": ["عايز"]}
Meminta petunjuk (cues) memudahkan semakan ralat: jika petunjuknya perkataan MSA, label itu meragukan.
Mengapa ia penting
- Penghalaan. Hantar pelanggan Teluk kepada ejen Teluk, atau tukar prompt jawapan kepada dialek pengguna.
- Penilaian. Bahagikan set ujian pertuturan dan chat mengikut dialek. Satu purata tunggal menyembunyikan kumpulan paling lemah, seperti yang ditunjukkan oleh artikel pengecaman pertuturan dialek.
- Analitik. Ketahui dialek yang benar-benar ditulis oleh pengguna anda sebelum melabur dalam satu dialek.
Mesej bercampur adalah perkara biasa. Pengguna bertukar antara dialek, MSA dan bahasa Inggeris dalam satu baris, iaitu penukaran kod; kekalkan label “unclear” dan bukannya memaksa tekaan.
Di BroadNet Inference
BroadNet tiada endpoint pengecaman dialek. Anda boleh membinanya di atas POST /v1/chat/completions. Rujukan API BroadNet mendokumenkan output berstruktur untuk GLM 5.3 dan Qwen3.8 27B, yang sesuai untuk senarai label tetap; lihat output berstruktur. BroadNet melaporkan ujian Qwen3.8 27B dengan dialek Teluk dan Mesir difahami. BroadNet tidak menerbitkan ketepatan pengecaman dialek bagi mana-mana model, jadi labelkan kira-kira 100 mesej anda sendiri secara manual dan ukur model terhadapnya sebelum bergantung padanya.
Artikel klasifikasi teks Arab merangkumi prompt, senarai label dan pemarkahan untuk tugas sebegini, dan bahasa Arab dialek menerangkan maksud label tersebut.