BroadRouter

Gulf, Egyptian at Levantine Arabic: paano hinaharap ng LLM ang dialect

Ng BroadNet Inference team · 6 minutong basa · Nailathala

Hindi pantay ang husay ng mga LLM sa Arabic dialect: kadalasan mas naiintindihan nila ang Egyptian at Gulf Arabic kaysa sa naisusulat nila ito, at bumababa ang kalidad sa mga bihirang dialect. I-test nang hiwalay ang pag-unawa at pagsulat sa sarili mong mga mensahe. Sa sariling test ng BroadNet, naintindihan ng Qwen3.8 27B ang Gulf at Egyptian at sumulat ito ng maayos na Arabic. $0.175 ito kada 1M input token.

Kadalasan mas naiintindihan ng mga LLM ang Gulf at Egyptian Arabic kaysa sa naisusulat nila ito, at mas mahina sila sa mga bihirang dialect. Ang isang customer sa Riyadh, isa sa Cairo at isa sa Beirut ay puwedeng magtanong ng “ano’ng gusto mo?” sa tatlong magkakaibang pangungusap, at puwede pa rin silang mabasa nang mali ng model na mahusay sa Modern Standard Arabic (MSA). I-test nang hiwalay ang pag-unawa at pagsulat.

Tinatalakay ng post na ito kung ano ang nagbabago sa pagitan ng malalaking grupo ng dialect, saan karaniwang pumapalya ang mga LLM, at paano i-test ang isang model bago mo ito pagkatiwalaan sa totoong mga customer.

Gaano ba talaga kalaki ang pagkakaiba ng mga dialect?

Napakalaki sa pang-araw-araw na salita, mas malapit sa pormal na bokabularyo. Ipinapakita ng mga research corpus ang laki nito: isinalin ng MADAR corpus ang parehong mga pangungusap tungkol sa paglalakbay sa mga dialect ng 25 lungsod na Arab. Ipinapakita ng table ang ilang karaniwang parirala. Ang MSA column ang ipi-print ng isang textbook; ang iba ay mga karaniwang anyo sa pagsasalita at pagte-text. Iba-iba ang spelling kada tao, at bahagi iyon ng problema.

Kahulugan MSA Gulf (Saudi / Emirati) Egyptian Levantine
Ano’ng gusto mo? ماذا تريد؟ وش تبي؟ / شو تبي؟ عايز إيه؟ شو بدّك؟
Kumusta ka? كيف حالك؟ شلونك؟ إزيك؟ كيفك؟
ngayon الآن الحين دلوقتي هلّق
Hindi ko alam لا أعرف ما أدري مش عارف ما بعرف
napaka / marami جداً وايد أوي كتير

Tatlong pattern ang mahalaga para sa mga LLM:

  • Nagbabago ang mga function word. Lubos na magkakaiba sa bawat dialect ang mga salitang pananong, negasyon at “gusto”. Maiikli at madalas na salita ang mga ito na nagpapasya sa kahulugan ng pangungusap, kaya kapag mali ang basa sa isa, bumabaligtad ang intent.
  • Hindi standard ang spelling. Kadalasang binibigkas ang mga dialect, kaya isinusulat ito ng mga tao ayon sa tunog. Puwedeng lumabas ang iisang salita sa ibang mga letra, may hamza o wala, o sa Latin na script (Arabizi).
  • Normal ang code-switching. Hinahaluan ng English na pangalan ng produkto ang mga business message sa Gulf; French naman ang hinahalo ng mga nagsasalita ng Levantine at Maghrebi. Kailangang kayanin ng model ang dalawang script sa iisang pangungusap.

Saan pumapalya ang mga LLM sa mga Arabic dialect?

Natututo ang mga model sa text na nakikita nila, at mas kaunti nang malaki ang pampublikong text para sa maliliit na dialect gaya ng Emirati o Sudanese kaysa sa Modern Standard Arabic. Sa praktika, lumalabas iyon bilang ilang paulit-ulit na error:

  1. Pagbasa sa dialect na salita bilang ibang MSA na salita. Ang Gulf na “أبي” (gusto ko) ay mukhang MSA na “أبي” (ang aking ama). Kadalasang nalulutas ito ng context, pero minsan hindi sa maliliit na model.
  2. Pagsagot sa maling intent. Ang maikling Egyptian na reklamo gaya ng “الطلب لسه موصلش” (hindi pa rin dumarating ang order) ay nangangailangan na alam ng model na “pa rin” ang ibig sabihin ng “لسه” at negated verb ang “موصلش”.
  3. Pagsulat ng halo-halong dialect. Kapag pinasagot “in Gulf Arabic”, gumagawa ang mas mahihinang model ng halo ng Egyptian, Levantine at MSA na hindi isusulat ng sinumang native speaker. Mas karaniwan ito kaysa sa maling pag-unawa.
  4. Sobrang pagtatama. May mga model na “inaayos” papunta sa MSA ang dialect ng customer kahit pinasipi mo ito, na sumisira sa mga extraction task.

Ang pangkalahatang patakaran: mas naiintindihan ng mga model ang dialect kaysa sa naisusulat nila ito. Iplano ang produkto mo batay doon.

Ano ang sinubukan ng BroadNet sa mga Arabic dialect?

Inilalathala ng BroadNet ang sarili nitong Arabic check sa pricing page nito. Para sa Qwen3.8 27B, iniuulat nito ang:

  • maayos na pagsulat sa Arabic,
  • naiintindihan ang Gulf at Egyptian na dialect,
  • tumpak na Arabic–English na salin.

Iyan ang sinasabi ng BroadNet, at wala nang iba. Wala itong inilalathalang Levantine, Iraqi o Maghrebi na resulta, at walang inilalathalang score sa pagsulat ng dialect. Kung mahalaga sa iyo ang mga Levantine na customer, ikaw mismo ang mag-test gamit ang paraan sa ibaba.

Tumatanggap ang Qwen3.8 27B ng text at larawan, sumusuporta sa tools at structured output, nagre-reason bago sumagot at may 262,144-token na context. Kada 1M token, $0.175 ito para sa input at $2.17 para sa output. Ikumpara ang ibang chat model sa pricing page, at tingnan ang pagpili ng LLM API para sa Arabic para sa mas malawak na checklist na sumasaklaw din sa pagsulat, pagsasalin at mga dokumento.

Paano mag-prompt sa LLM para sa partikular na dialect?

Sabihin kung aling dialect ang inaasahan mo, alin ang gusto mong ibalik at gaano kapormal. Isang system prompt na gumagana nang maayos para sa inbox ng Saudi na retail:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

system = (
    "You are a customer-service assistant for a Saudi online store. "
    "Customers write in Gulf Arabic (often Saudi), MSA, English or Arabizi. "
    "Understand all of them. Reply in simple, polite Modern Standard Arabic, "
    "in two or three short sentences. If the customer writes in English, reply in English. "
    "Never invent order details."
)

response = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=2000,  # the model reasons first; leave room for the answer
    messages=[
        {"role": "system", "content": system},
        {"role": "user", "content": "السلام عليكم، طلبي للحين ما وصل، وش السالفة؟"},
    ],
)
print(response.choices[0].message.content)

Gulf Arabic ang mensahe ng customer: “Hello, my order still hasn’t arrived, what’s going on?” (Hello, hindi pa rin dumarating ang order ko, ano’ng nangyayari?). Mga Gulf na anyo ang “للحين” (pa rin) at “وش السالفة” (ano’ng kuwento / ano’ng nangyayari). Kinikilala ng mahusay na reply ang pagkaantala sa MSA at hinihingi ang order number.

Ilan pang nakakatulong na gawi sa prompt:

  • Pangalanan ang bansa, hindi lang ang rehiyon. Sakop ng “Gulf Arabic” ang pananalita sa Saudi, Emirati, Kuwaiti, Qatari, Bahraini at Omani, na magkakaiba. Kung alam mo ang market, sabihin ito.
  • Humingi ng dialect label sa mga extraction task. Para sa routing o analytics, ipabalik sa model ang {"dialect": "gulf" | "egyptian" | "levantine" | "msa" | "other", "intent": ...} gamit ang structured output. Murang paraan ito para makilala kung sino ang mga customer mo.
  • Panatilihin sa iisang wika ang mga instruction. Gumagana nang maayos sa karamihan ng model ang English na instruction na may Arabic na nilalaman. Gumagana rin ang Arabic na instruction; kapag pinaghalo ang dalawa sa iisang system prompt, kadalasang lumalabo ang register. Higit pa rito sa Arabic prompt engineering.

Dapat ka bang sumagot sa dialect?

Para sa karamihan ng negosyo, hindi. Naiintindihan ng bawat Arabic reader ang simpleng MSA (minsang tinatawag na “white” o neutral na Arabic), mukha itong propesyonal at naiiwasan ang panganib ng reply na parang galing sa maling bansa. Makatuwiran ang dialect na reply para sa mga impormal na brand, marketing copy na isinulat para sa iisang market, at mga voice product kung saan matigas pakinggan ang MSA. Kung iyan ang pipiliin mo, ipasuri linggo-linggo ang isang sample ng output sa mga native speaker ng mismong dialect na iyon.

Paano i-test ang paghawak ng dialect sa loob ng isang araw?

  1. Mangolekta ng totoong mensahe. Kumuha ng 30 hanggang 50 anonymised na mensahe kada dialect mula sa inbox, chat log o na-transcribe na voice note. Tanggalin ang mga pangalan, phone number at order number.
  2. Lagyan ng label ang intent. Para sa bawat mensahe, isulat ang tamang intent at ang anumang fact na dapat kunin ng model (order number, produkto, petsa).
  3. I-test ang pag-unawa. Ipabalik sa bawat kandidatong model ang intent at mga field bilang JSON. I-score ang mga exact match. Ito ang numerong nagpapasya kung gumagana ang routing.
  4. I-test ang pagsulat. Para sa sampung mensahe kada dialect, humingi ng reply. Ipa-grade sa isang native speaker ang bawat reply mula 1–3 sa tama, tono at pagiging natural. Huwag mag-grade ng dialect na hindi mo sinasalita.
  5. Suriin ang gastos at bilis. I-record ang usage.prompt_tokens, usage.completion_tokens at latency kada call. Puwedeng iba ang pag-tokenise ng dialect na text kaysa sa MSA, kaya sukatin sa halip na hulaan; nagbibigay ng mabilis na unang tantiya ang libreng Arabic token counter.
  6. Ulitin para sa bawat model. Patakbuhin ang parehong set sa Qwen3.8 27B, DeepSeek V4.1 Flash at GLM 5.3. Iisang OpenAI-compatible API ang gamit ng tatlo, kaya model id lang ang nagbabago.

Gumagana ang Qwen3.8 27B, DeepSeek V4.1 Flash at GLM 5.3 pagkatapos ng top-up; sa mga chat model, ang BroadNet Gemma 4 VL 26B lang ang sakop ng libreng $5 na panimulang credit, at sulit itong idagdag bilang murang baseline. Kadalasang kapaki-pakinabang na resulta ang hating setup: isang model para sa pag-unawa at routing, at mga reply na isinusulat sa MSA.

Paano naman ang dialect sa mga voice note?

Kung nagpapadala ng voice note ang mga customer mo, mas maaga nagsisimula ang paghawak ng dialect, sa speech-to-text. Puwedeng mali ang dinig ng transcription model sa isang dialect na salita bago pa ito makita ng LLM. Iniuulat ng BroadNet ang dialect na word error rate na 23.4 para sa BroadNet Transcribe Arabic, laban sa 3.8 sa binasang speech ng FLEURS; tingnan ang Arabic WER, ipinaliwanag para sa ibig sabihin ng mga numerong iyon. I-test ang buong kadena, mula voice note hanggang reply, hindi ang bawat piraso nang mag-isa.

Mga tanong

Dapat bang sumagot ang chatbot ko sa dialect ng customer?

Kadalasan, hindi bilang default. Naiintindihan kahit saan ang simpleng Modern Standard Arabic at mukha itong propesyonal. Gumamit lang ng dialect na reply kung saan hinihingi ito ng brand voice mo, at pagkatapos lang masuri ng mga native speaker ang output.

Aling BroadNet model ang sinubukan ng BroadNet sa mga Arabic dialect?

Ang Qwen3.8 27B. Ayon sa BroadNet, maayos itong sumulat sa Arabic, naiintindihan ang Gulf at Egyptian na dialect, at tumpak ang Arabic–English na salin nito. Wala itong inilalathalang Levantine o Maghrebi na resulta.

Ilang test message ang kailangan ko kada dialect?

Sapat na ang tatlumpu hanggang limampung totoong mensahe kada dialect para makita ang malinaw na pagkakaiba ng mga model. Magdagdag pa para sa dialect na ginagamit ng karamihan ng customer mo.

Mas maraming token ba ang mga mensaheng naka-dialect?

Posible. Nakadepende ang bilang ng token sa tokenizer at sa spelling, at madalas hindi standard ang spelling ng dialect na text. Mag-paste ng mga sample sa token counter at kumpirmahin gamit ang prompt_tokens sa sarili mong mga mensahe sa halip na manghula.

Naiintindihan ba ng LLM ang Egyptian Arabic?

Madalas, pero suriin ito sa sarili mong mga mensahe. Ayon sa BroadNet, naintindihan ng Qwen3.8 27B ang Egyptian at Gulf Arabic sa mga test nito; iba-iba ang ibang model. Kadalasan mas hindi maaasahan ang pagsulat ng dialect kaysa sa pagbasa nito, kaya i-score nang hiwalay ang intent accuracy at kalidad ng reply sa 30 hanggang 50 totoong mensahe.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity