BroadRouter

Arabic dialect identification

Na-update

Ang Arabic dialect identification ay ang task ng pagtukoy kung anong variety ng Arabic ang isang text o recording, gaya ng Egyptian, Gulf, Levantine, Maghrebi o Modern Standard Arabic, sa antas ng rehiyon, bansa o lungsod. Ginagamit ito para i-route ang mga mensahe, pumili ng prompt at hatiin ang mga evaluation set.

Tinatawag ding: dialect identification, dialect detection, ADI, NADI, pagtukoy ng dialect, Arabic dialect detection

Bago mo masagot ang user sa sarili niyang dialect, kailangan mo munang malaman kung anong dialect ang ginamit niya. Iyan ang dialect identification.

Paano ito gumagana

Sinusukat ito ng research community sa pamamagitan ng mga NADI shared task (Nuanced Arabic Dialect Identification). Gumamit ang NADI 2020 ng mga tweet mula sa 100 probinsya sa 21 Arab na bansa, na may subtask sa antas ng bansa at isa sa antas ng probinsya. Ginawang multi-label task ng NADI 2024 ang dialect identification, dahil puwedeng tama ang isang pangungusap sa ilang dialect, at nagdagdag ito ng subtask sa antas ng dialectness. 50.57 F1 ang score ng pinakamahusay na system sa Subtask 1, at isinulat ng mga organizer na nananatiling mahirap ang dialect identification.

Karaniwang ginagamit ang MADAR corpus (Bouamor et al., 2018): parehong mga pangungusap tungkol sa paglalakbay na isinalin sa 25 dialect ng mga lungsod. May 2,000 pangungusap na nasa lahat ng 25; may 10,000 pa para sa Doha, Beirut, Cairo, Tunis at Rabat. Sa ganitong parallel data, makikita mo kung paano isinusulat ang parehong kahulugan sa bawat lugar.

Sa praktika, mas magaspang na label ang kailangan ng karamihan ng produkto. Isang set na gumagana:

Label Sakop
msa Modern Standard Arabic
gulf Saudi, Emirati, Kuwaiti, Qatari, Bahraini, Omani
egyptian Egyptian
levantine Syrian, Lebanese, Jordanian, Palestinian
maghrebi Moroccan, Algerian, Tunisian, Libyan
other_or_unclear Iraqi, Yemeni, Sudanese, halo-halo o masyadong maikli

Ang LLM prompt para dito ay humihingi ng isang JSON object: ang label, isang confidence, at ang mga salitang nagpahiwatig nito. Halimbawa, ang mensaheng عايز أغير الباقة ay babalik bilang:

{"dialect": "egyptian", "confidence": "high", "cues": ["عايز"]}

Kapag humingi ka ng cues, madaling i-review ang mga error: kung MSA na salita ang cue, kaduda-duda ang label.

Bakit ito mahalaga

  • Routing. Ipasa ang mga customer na Gulf sa mga agent na Gulf, o ilipat ang reply prompt sa dialect ng user.
  • Evaluation. Hatiin ayon sa dialect ang mga test set ng speech at chat. Itinatago ng iisang average ang pinakamahinang grupo, gaya ng ipinapakita ng post tungkol sa dialect speech recognition.
  • Analytics. Alamin kung anong mga dialect talaga ang isinusulat ng mga user mo bago ka mag-invest sa isa.

Karaniwan ang halo-halong mensahe. Nagpapalipat-lipat ang mga user sa dialect, MSA at English sa iisang linya, na tinatawag na code-switching; panatilihin ang label na “unclear” sa halip na pilitin ang hula.

Sa BroadNet Inference

Walang dialect identification endpoint ang BroadNet. Puwede kang bumuo nito sa POST /v1/chat/completions. Nakadokumento sa API reference ng BroadNet ang structured output para sa GLM 5.3 at Qwen3.8 27B, na bagay sa nakapirming listahan ng label; tingnan ang structured output. Iniulat ng BroadNet na sinubukan nito ang Qwen3.8 27B at naintindihan ang mga dialect na Gulf at Egyptian. Hindi naglalathala ang BroadNet ng accuracy ng dialect identification para sa anumang model, kaya manual na lagyan ng label ang mga 100 sa sarili mong mensahe at sukatin ang model laban sa mga ito bago umasa rito.

Saklaw ng post tungkol sa Arabic text classification ang mga prompt, listahan ng label at scoring para sa ganitong task, at ipinapaliwanag ng dialectal Arabic ang kahulugan ng mga label.

Mga tanong

Gaano katumpak ang Arabic dialect identification?

Depende sa granularity at haba ng text. Sa NADI 2024, 50.57 F1 ang pinakamataas na score sa multi-label dialect identification, at ayon sa mga organizer ay mahirap pa rin ang task. Mas madali ang label sa antas ng rehiyon sa mahahabang mensahe kaysa sa label ng bansa o lungsod sa maiikli.

Puwede bang higit sa isang dialect ang isang mensahe?

Oo. Puwedeng tama sa ilang dialect ang maiikli o neutral na pangungusap, kaya ginawang multi-label task ng NADI 2024 ang dialect identification. Payagan ang sagot na "unclear" o multi-label.

Kailangan ko ba ng hiwalay na classifier?

Hindi sa simula. Mabilis i-set up ang LLM na may nakapirming listahan ng label. Sukatin ito sa sample na manual mong nilagyan ng label; lumipat sa trained classifier kung kailangan ng volume o accuracy.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity