Bago mo masagot ang user sa sarili niyang dialect, kailangan mo munang malaman kung anong dialect ang ginamit niya. Iyan ang dialect identification.
Paano ito gumagana
Sinusukat ito ng research community sa pamamagitan ng mga NADI shared task (Nuanced Arabic Dialect Identification). Gumamit ang NADI 2020 ng mga tweet mula sa 100 probinsya sa 21 Arab na bansa, na may subtask sa antas ng bansa at isa sa antas ng probinsya. Ginawang multi-label task ng NADI 2024 ang dialect identification, dahil puwedeng tama ang isang pangungusap sa ilang dialect, at nagdagdag ito ng subtask sa antas ng dialectness. 50.57 F1 ang score ng pinakamahusay na system sa Subtask 1, at isinulat ng mga organizer na nananatiling mahirap ang dialect identification.
Karaniwang ginagamit ang MADAR corpus (Bouamor et al., 2018): parehong mga pangungusap tungkol sa paglalakbay na isinalin sa 25 dialect ng mga lungsod. May 2,000 pangungusap na nasa lahat ng 25; may 10,000 pa para sa Doha, Beirut, Cairo, Tunis at Rabat. Sa ganitong parallel data, makikita mo kung paano isinusulat ang parehong kahulugan sa bawat lugar.
Sa praktika, mas magaspang na label ang kailangan ng karamihan ng produkto. Isang set na gumagana:
| Label | Sakop |
|---|---|
msa |
Modern Standard Arabic |
gulf |
Saudi, Emirati, Kuwaiti, Qatari, Bahraini, Omani |
egyptian |
Egyptian |
levantine |
Syrian, Lebanese, Jordanian, Palestinian |
maghrebi |
Moroccan, Algerian, Tunisian, Libyan |
other_or_unclear |
Iraqi, Yemeni, Sudanese, halo-halo o masyadong maikli |
Ang LLM prompt para dito ay humihingi ng isang JSON object: ang label, isang confidence, at ang mga salitang nagpahiwatig nito. Halimbawa, ang mensaheng عايز أغير الباقة ay babalik bilang:
{"dialect": "egyptian", "confidence": "high", "cues": ["عايز"]}
Kapag humingi ka ng cues, madaling i-review ang mga error: kung MSA na salita ang cue, kaduda-duda ang label.
Bakit ito mahalaga
- Routing. Ipasa ang mga customer na Gulf sa mga agent na Gulf, o ilipat ang reply prompt sa dialect ng user.
- Evaluation. Hatiin ayon sa dialect ang mga test set ng speech at chat. Itinatago ng iisang average ang pinakamahinang grupo, gaya ng ipinapakita ng post tungkol sa dialect speech recognition.
- Analytics. Alamin kung anong mga dialect talaga ang isinusulat ng mga user mo bago ka mag-invest sa isa.
Karaniwan ang halo-halong mensahe. Nagpapalipat-lipat ang mga user sa dialect, MSA at English sa iisang linya, na tinatawag na code-switching; panatilihin ang label na “unclear” sa halip na pilitin ang hula.
Sa BroadNet Inference
Walang dialect identification endpoint ang BroadNet. Puwede kang bumuo nito sa POST /v1/chat/completions. Nakadokumento sa API reference ng BroadNet ang structured output para sa GLM 5.3 at Qwen3.8 27B, na bagay sa nakapirming listahan ng label; tingnan ang structured output. Iniulat ng BroadNet na sinubukan nito ang Qwen3.8 27B at naintindihan ang mga dialect na Gulf at Egyptian. Hindi naglalathala ang BroadNet ng accuracy ng dialect identification para sa anumang model, kaya manual na lagyan ng label ang mga 100 sa sarili mong mensahe at sukatin ang model laban sa mga ito bago umasa rito.
Saklaw ng post tungkol sa Arabic text classification ang mga prompt, listahan ng label at scoring para sa ganitong task, at ipinapaliwanag ng dialectal Arabic ang kahulugan ng mga label.