BroadRouter

Arabic dialect speech recognition: Gulf, Egyptian, Levantine, Maghrebi

Ng BroadNet Inference team · 5 minutong basa · Nailathala · Na-update

Iba ang mga Arabic dialect sa Modern Standard Arabic sa tunog, salita at spelling, at hinahaluan pa ng English o French, kaya mas mababa ang score ng mga ASR model na halos formal Arabic lang ang training. Para i-test ang provider, bumuo ng test set kada dialect mula sa totoong audio mo, magtakda ng spelling convention, at i-score ang WER, CER at entity accuracy kada dialect.

Nahihirapan ang speech-to-text sa mga Arabic dialect dahil iba sila sa Modern Standard Arabic (MSA) sa tunog, salita at spelling, at hinahaluan pa ng mga nagsasalita ng English o French. Para malaman kung gaano kahusay ang isang provider, bumuo ng maliit na test set kada dialect mula sa totoong audio mo at i-score nang hiwalay ang bawat dialect.

“Arabic” lahat ang isang caller sa Riyadh, isang voice note mula sa Cairo at isang support call mula sa Casablanca, pero puwedeng mahusay ang isang model sa una at palpak sa pangatlo.

Ipinapaliwanag ng post na ito kung bakit mahirap ang bawat pangunahing grupo ng dialect para sa speech recognition, at kung paano bumuo ng test na magpapakita kung gaano kahusay ang isang provider sa iyong mga dialect. Para sa mas malawak na checklist sa pagbili (presyo, limit, privacy), tingnan ang buyer’s guide sa Arabic speech-to-text.

Bakit mahirap ang mga Arabic dialect para sa speech recognition?

Apat na problema ang nagpapatong-patong:

  1. Ibang tunog. Iba-iba ang bigkas ng iisang letra depende sa rehiyon, kaya kailangang i-map ng acoustic model ang ilang tunog sa iisang spelling.
  2. Ibang salita. Magkakaiba ang mga pang-araw-araw na salita kada dialect. Puwedeng “itama” ng model na halos MSA ang training ang isang dialect na salita papunta sa formal na katumbas nito, at error iyon kung verbatim ang reference mo.
  3. Walang standard na spelling. Impormal ang pagsulat ng mga dialect, kaya kahit dalawang taong transcriber ay hindi nagkakasundo. Hindi rin pantay ang training data: ayon sa isang pag-aaral noong 2024 tungkol sa dialectal coverage, ang mga kasalukuyang ASR system ay “mainly cover the modern standard Arabic (MSA) variety and few high-resource dialects” (salin: pangunahing sakop ang modern standard Arabic (MSA) at ilang dialect na maraming resource) (arXiv 2411.05872).
  4. Code-switching. Naghahalo ng English o French ang mga nagsasalita sa gitna ng pangungusap. Ang Casablanca dataset, na sumasaklaw sa walong dialect, ay may annotation ng code-switching kasama ng dialect at gender.

Ito mismo ang dahilan kung bakit sinusuri ng papel na Open Universal Arabic ASR Leaderboard (Interspeech 2025) ang mga open-source model sa ilang multi-dialect test set: tinatago ng iisang Arabic score ang pagkakaiba-iba.

Paano nagkakamali ang speech recognition sa bawat Arabic dialect?

Grupo ng dialect Saan Karaniwang problema ng ASR
Gulf (Khaleeji) Saudi Arabia, UAE, Kuwait, Qatar, Bahrain, Oman May halong English na pangalan ng produkto, numero at brand term; panrehiyong bigkas ng qaf at kaf
Egyptian Egypt Binibigkas ang jeem bilang matigas na g; kadalasang glottal stop ang qaf; napakakaraniwan sa media, kaya mas madalas itong makita ng mga model
Levantine Syria, Lebanon, Jordan, Palestine Glottal stop ang qaf sa lungsod; may halong French o English, lalo na sa Lebanon
Maghrebi (Darija) Morocco, Algeria, Tunisia, Libya Pinakamalayo sa MSA; nawawala ang maiikling patinig; mabigat na French code-switching; mga hiram na salitang Amazigh
Iraqi Iraq Natatanging bokabularyo at bigkas; mas kaunting pampublikong training audio

Mga tendensiya ito, hindi mga patakaran. Magkaiba ang pananalita sa lungsod at probinsya sa loob ng bawat grupo, at mas madalas mag-code-switch ang mga nakababata. Ang punto: may sariling paraan ng pagkakamali ang bawat grupo, kaya i-score nang hiwalay ang bawat grupo.

Paano bumuo ng Arabic dialect test set?

1. Kumuha ng totoong audio kada dialect

Kumuha ng 30 hanggang 50 clip kada dialect mula sa channel na gagamitin mo sa production: tawag sa telepono, WhatsApp voice note, recording ng meeting. Iba ang kilos ng phone audio na 8 kHz kaysa sa studio audio. Lagyan ng label ang bawat clip ayon sa dialect, at i-tag ang mga clip na may English o French.

2. Magkasundo muna sa spelling convention

Bago magsulat ng kahit anong reference, magpasya:

  • Verbatim dialect (isulat ang sinabi, sa dialect na spelling), o
  • Normalised (i-map sa iisang consistent na anyo).

Isulat ang napili kasama ang mga halimbawa. Kung verbatim ang mga reference at mga salitang parang MSA ang output ng model, mukhang napakasama ng WER kahit tama ang kahulugan. Walang maling pagpipilian. Kailangan lang itong tumugma sa kailangan ng downstream system mo.

3. Sumulat ng reference para sa 10 clip kada dialect

Ipa-transcribe ang mga ito sa mga native speaker ng dialect na iyon. Para sa mga code-switched na clip, magpasya kung mananatili sa Latin script ang mga English na salita, at ilapat ito sa lahat.

4. I-normalise ang dalawang panig, saka mag-score

Tanggalin ang mga diacritic, pag-isahin ang mga anyo ng alef (إ أ آ papuntang ا) at ang final yaa (ى papuntang ي), alisin ang bantas, at gawing Western ang mga Eastern Arabic na digit. Saka kalkulahin:

Metric Bakit
WER kada dialect Ang standard na sukatan; mahigpit sa mga clitic at prefix
CER kada dialect Mas mapagpatawad sa pagkakaiba ng spelling
Entity accuracy Bahagdan ng mga numero, petsa at pangalan na eksaktong na-transcribe
WER ng code-switch na grupo Ipinapakita kung nakakaligtas ang mga English o French na salita

Kinakalkula ng jiwer package ang WER at CER; may normalisation function na puwede mong gamitin ulit sa Arabic WER explained, pati isang halimbawa kung gaano nito binabago ang score.

5. Basahin ang mga transcript

Ang mga numero ang nagpapasya kung gagana ang isang call-centre o banking workflow. Magbasa ng 20 transcript kada dialect at mano-manong suriin ang bawat numero, petsa at pangalan.

Ano ang sinasabi ng mga nailathalang Arabic WER na numero?

Direksyon ang ibinibigay ng mga pampublikong benchmark, hindi pangako. Naglalathala ang BroadNet ng tatlong WER figure para sa BroadNet Transcribe Arabic sa model catalogue nito: 3.8 sa FLEURS-ar (malinis na binasang pananalita), 21.1 sa MASC-ar (halo-halong pananalita mula sa totoong mundo) at 23.4 sa sarili nitong dialect set. Anim na beses ang itinaas para sa iisang model mula binasang pananalita papuntang dialect speech, kaya kailangan mong mag-test sa sarili mong mga dialect.

Kapag nagkukumpara ng mga provider, ikumpara sila sa iisang test set. Kapaki-pakinabang ang isang leaderboard gaya ng Open Universal Arabic ASR Leaderboard dahil pare-pareho ang paraan ng pag-score sa bawat model. Hindi maikukumpara ang sariling numero ng isang vendor sa sarili nitong set sa numero ng ibang vendor.

Aling LLM ang dapat magbasa ng mga dialect transcript?

Kadalasang ipinapasa ang mga transcript sa isang LLM: para i-summarise ang tawag, i-route ang ticket o sagutin ang tanong. Kailangan ding makabasa ng dialect ang model na iyon. Ipinapaliwanag ng aming gabay sa pagpili ng LLM para sa Arabic kung paano ito i-test, at ang Qwen3.8 27B ang model na sinubok ng BroadNet sa mga Gulf at Egyptian dialect.

Saan pumapasok ang BroadNet Inference

Ang BroadNet Transcribe Arabic ay ginawa para sa Arabic kasama ang mga dialect, nagkakahalaga ng $0.0042 kada minuto ($0.25 kada oras), at ayon sa BroadNet ay ika-2 sa 37 (datos noong Setyembre 2026; sa live na ranggo noong Nobyembre 15, 2026, ika-4 sa 39 ito) ito sa Open Universal Arabic ASR Leaderboard, at #1 sa mga model na pinapayagan ng lisensya na i-serve sa pamamagitan ng API. Para sa mga numero, petsa at pangalan sa maingay na audio, nag-aalok ang BroadNet ng fine-tuned na bersyon kapag hiniling. Sakop ng $5 na panimulang credit ang mga 1,190 minuto, sapat para sa buong test sa itaas; ginagawang buwanang bill ng speech-to-text cost calculator ang volume mo sa production. Gumawa ng key para magsimula.

Hindi naglalathala ang BroadNet ng hiwalay na WER figure para sa bawat grupo ng dialect. Iyan mismo ang dahilan kung bakit dapat mong patakbuhin ang test na ito: iisang numero lang ang figure nito sa dialect set, at isa o dalawang dialect lang ang sinasalita ng mga customer mo, hindi lahat.

Mga tanong

Aling Arabic dialect ang pinakamahirap para sa speech recognition?

Walang iisang ranggo; nakadepende ito sa training data ng model. Kadalasang mahirap ang mga Maghrebi dialect gaya ng Moroccan at Algerian dahil sila ang pinakamalayo sa Modern Standard Arabic at may halong French. I-test ang sarili mong dialect sa halip na umasa sa pangkalahatang ranggo.

Naiintindihan ba ng speech-to-text ang Egyptian Arabic?

Kadalasan mas mahusay kaysa sa mga bihirang dialect, dahil malawak na ginagamit ang Egyptian sa media, pero asahan na mas mababa ang accuracy kaysa sa formal Arabic. Sukatin ito sa sarili mong mga recording.

WER o CER ba ang dapat kong gamitin para sa Arabic?

Gamitin ang dalawa. Buong salita ang binibilang ng WER, kaya kapag mali ang prefix o clitic, mali ang buong salita. Character ang binibilang ng CER at mas mapagpatawad ito sa pagkakaiba ng spelling, na mahalaga sa mga dialect na walang standard na spelling.

Ilang audio clip ang kailangan ko para i-test ang isang Arabic ASR provider?

Mga 30 hanggang 50 totoong clip kada dialect, at hindi bababa sa 10 kada dialect ang mano-manong tina-transcribe bilang reference. Sapat iyon para makita ang malalaking pagkakaiba ng mga provider.

Mahalaga ba ang language code para sa mga Arabic dialect?

Ipadala ang language=ar. Iisang ar code ang gamit ng mga dialect sa karamihan ng API. Kung wala ito, may mga model na nagbabalik ng Arabic speech na naka-transliterate sa Latin na letra.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity