BroadRouter
Mulakan

Pengecaman dialek Arab (Arabic dialect identification)

Dikemas kini

Pengecaman dialek Arab ialah tugas menentukan varian bahasa Arab yang digunakan dalam sesuatu teks atau rakaman, seperti Mesir, Teluk, Levant, Maghribi atau Bahasa Arab Standard Moden, pada peringkat rantau, negara atau bandar. Ia digunakan untuk menghalakan mesej, memilih prompt dan membahagikan set penilaian.

Juga dikenali sebagai: pengesanan dialek, pengecaman dialek, dialek Arab, dialect identification, dialect detection, ADI, NADI

Sebelum anda boleh menjawab pengguna dalam dialeknya, anda perlu tahu dialek mana yang ditulisnya. Itulah pengecaman dialek.

Cara ia berfungsi

Komuniti penyelidikan mengukur perkara ini melalui shared task NADI (Nuanced Arabic Dialect Identification). NADI 2020 menggunakan tweet yang meliputi 100 wilayah di 21 negara Arab, dengan subtugas peringkat negara dan subtugas peringkat wilayah. NADI 2024 merangka pengecaman dialek sebagai tugas berbilang label, kerana satu ayat boleh sah dalam beberapa dialek, dan menambah subtugas tentang tahap kedialekan. Sistem terbaik Subtugas 1 mencatat 50.57 F1, dan penganjur menulis bahawa pengecaman dialek masih mencabar.

Korpus MADAR (Bouamor et al., 2018) ialah sumber yang biasa digunakan: ayat domain pelancongan yang sama diterjemahkan ke dalam dialek 25 bandar. 2,000 ayat wujud dalam kesemua 25; 10,000 lagi wujud untuk Doha, Beirut, Kaherah, Tunis dan Rabat. Data selari seperti ini membolehkan anda melihat cara maksud yang sama ditulis di setiap tempat.

Dalam amalan, kebanyakan produk memerlukan label yang lebih kasar. Satu set yang boleh digunakan:

Label Meliputi
msa Bahasa Arab Standard Moden
gulf Saudi, Emiriah, Kuwait, Qatar, Bahrain, Oman
egyptian Mesir
levantine Syria, Lubnan, Jordan, Palestin
maghrebi Maghribi, Algeria, Tunisia, Libya
other_or_unclear Iraq, Yaman, Sudan, bercampur atau terlalu pendek

Prompt LLM untuk tugas ini meminta satu objek JSON: label, tahap keyakinan, dan perkataan yang mendedahkannya. Contohnya, mesej عايز أغير الباقة akan dipulangkan sebagai:

{"dialect": "egyptian", "confidence": "high", "cues": ["عايز"]}

Meminta petunjuk (cues) memudahkan semakan ralat: jika petunjuknya perkataan MSA, label itu meragukan.

Mengapa ia penting

  • Penghalaan. Hantar pelanggan Teluk kepada ejen Teluk, atau tukar prompt jawapan kepada dialek pengguna.
  • Penilaian. Bahagikan set ujian pertuturan dan chat mengikut dialek. Satu purata tunggal menyembunyikan kumpulan paling lemah, seperti yang ditunjukkan oleh artikel pengecaman pertuturan dialek.
  • Analitik. Ketahui dialek yang benar-benar ditulis oleh pengguna anda sebelum melabur dalam satu dialek.

Mesej bercampur adalah perkara biasa. Pengguna bertukar antara dialek, MSA dan bahasa Inggeris dalam satu baris, iaitu penukaran kod; kekalkan label “unclear” dan bukannya memaksa tekaan.

Di BroadNet Inference

BroadNet tiada endpoint pengecaman dialek. Anda boleh membinanya di atas POST /v1/chat/completions. Rujukan API BroadNet mendokumenkan output berstruktur untuk GLM 5.3 dan Qwen3.8 27B, yang sesuai untuk senarai label tetap; lihat output berstruktur. BroadNet melaporkan ujian Qwen3.8 27B dengan dialek Teluk dan Mesir difahami. BroadNet tidak menerbitkan ketepatan pengecaman dialek bagi mana-mana model, jadi labelkan kira-kira 100 mesej anda sendiri secara manual dan ukur model terhadapnya sebelum bergantung padanya.

Artikel klasifikasi teks Arab merangkumi prompt, senarai label dan pemarkahan untuk tugas sebegini, dan bahasa Arab dialek menerangkan maksud label tersebut.

Soalan lazim

Sejauh manakah ketepatan pengecaman dialek Arab?

Ia bergantung pada tahap perincian dan panjang teks. Dalam NADI 2024, sistem terbaik mencatat 50.57 F1 bagi pengecaman dialek berbilang label, dan penganjur menyimpulkan tugas ini masih mencabar. Label peringkat rantau pada mesej yang lebih panjang lebih mudah berbanding label negara atau bandar pada mesej pendek.

Bolehkah satu mesej mengandungi lebih daripada satu dialek?

Ya. Ayat pendek atau neutral boleh sah dalam beberapa dialek, sebab itulah NADI 2024 merangka pengecaman dialek sebagai tugas berbilang label. Benarkan jawapan "unclear" atau berbilang label.

Adakah saya memerlukan pengelas khusus?

Tidak pada permulaan. LLM dengan senarai label tetap cepat disediakan. Ukur ia pada sampel yang dilabel secara manual; beralih kepada pengelas terlatih jika volum atau ketepatan memerlukannya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity