BroadRouter

アラビア語の方言(dialectal Arabic)

更新日

アラビア語の方言とは、エジプト、湾岸、レバント、マグリブなど、地域や都市で日常的に話されるアラビア語です。音、語彙、文法が現代標準アラビア語と異なり、標準的な綴りがなく、ネットで書かれることも増え、言語モデルには扱いにくい対象です。

別名: アラビア語方言、アラビア語の口語、湾岸アラビア語、エジプト方言、レバント方言、マグリブ方言、ハリージー、dialectal Arabic、Arabic dialects、Arabic dialect、colloquial Arabic、Gulf Arabic、Egyptian Arabic、Levantine Arabic、Maghrebi Arabic、Khaleeji

アラビア語のベンチマークで高得点のモデルでも、リヤドからの音声メッセージやカサブランカからのチャットにはつまずくことがあります。それが方言で、現代標準アラビア語とは別の試験です。

仕組み

MADAR コーパスを構築した Bouamor ら(2018)は、アラビア語を “a family of varieties”(訳:変種の集まり)と表現しています。現代標準アラビア語(MSA)は “from Morocco to Oman”(訳:モロッコからオマーンまで)共通の文化、メディア、教育の言語ですが、誰の母語でもありません。方言はふつう、エジプト、北アフリカ、レバント、湾岸、イエメンといった地域単位か、チュニジア、レバノン、クウェートといったより細かい単位でまとめられます。音、語彙、形態の面で MSA と異なり、程度は小さいものの都市ごとにも違いがあります。

ソフトウェアにとって特に重要な違いは 3 つです。

  • 音。 MADAR が挙げる例は文字 qaf(ق)です。チュニジア方言では MSA に近い /q/ のままですが、エジプト方言とレバント方言では声門閉鎖音、湾岸方言では /g/ になります。音声モデルは、この 3 つをすべて同じ書き言葉の単語に対応させなければなりません。
  • 語彙。 日常の言葉が違います。「〜が欲しい」は MSA では أريد、エジプト方言では عايز、レバント方言では بدي、湾岸方言では أبي または أبغى、モロッコ方言では بغيت です。
  • 綴り。 MADAR によれば、MSA には標準的な正書法がありますが、方言にはありません。人々は音や語源に基づいて綴り、ときにはラテン文字でアラビージー(Arabizi)として書きます。英語やフランス語を混ぜることもあり、これはコードスイッチングと呼ばれます。

方言が文字で書かれることも増えています。MADAR は、方言をネット上のくだけたコミュニケーションで主要な書き言葉になりつつあるものと位置づけています。NADI 2020 は、アラブ 21 か国 100 州のツイートから共有タスクを構築しました。

なぜ重要か

  • チャットボットやサポートボット。 ユーザーは話すとおりに書きます。MSA で学習した意図判定ルール、キーワード検索、感情分析モデルは方言の語を取りこぼします。LLM で湾岸方言とエジプト方言を扱うを参照してください。
  • 音声認識。 同じモデルでも、方言の音声は読み上げた MSA よりはるかにスコアが悪くなります。方言の音声認識の記事で説明しているとおり、方言ごとにテストセットを作ってください。
  • 振り分け。 返答、レビュー担当者、プロンプトを地域によって変えるなら、まずアラビア語方言識別で方言をラベル付けしてください。

BroadNet Inference では

BroadNet は BroadNet Transcribe Arabic の対象として、湾岸、エジプト、レバント、マグリブの方言と現代標準アラビア語を挙げています。BroadNet の報告では、単語誤り率は FLEURS-ar の読み上げ音声で 3.8、BroadNet 独自の湾岸・エジプト・レバント方言セットで 23.4 で、いずれも BroadNet による測定です。この差が方言の影響です。どの方言でも language=ar を指定してください。BroadNet のドキュメントは、指定しないとアラビア語がラテン文字に音写されて返ってくることがあると注意しています。

テキストについては、BroadNet は Qwen3.8 27B をアラビア語でテストし、湾岸方言とエジプト方言を理解したと報告しています。レバント方言とマグリブ方言のテキストについては結果を公表していないので、ご自身のメッセージでテストしてください。アラビア語 LLM ガイドでモデルを比較しており、アラビア語音声認識ガイドには動くコードがあります。

よくある間違い

  • MSA のニュース記事だけでテストし、方言で書くユーザーに向けてリリースする。
  • 方言をまたいで WER を平均し、最も弱い方言を見えなくしてしまう。
  • ユーザーに表示するテキストで、方言の綴りを MSA に正規化してしまう。

よくある質問

方言の音声にはどの言語コードを指定すればよいですか?

ar を指定してください。BroadNet のドキュメントはアラビア語の音声に language=ar を求めており、BroadNet は湾岸、エジプト、レバント、マグリブの方言と現代標準アラビア語を、Transcribe Arabic という 1 つのモデルの対象として挙げています。

モデルは方言と現代標準アラビア語のどちらで返答すべきですか?

プロダクトごとに決めて、システムプロンプトに明記してください。多くのアシスタントは方言を読み取り、平易な現代標準アラビア語かユーザーの方言で返答します。ユーザーがどちらを好むかテストしてください。

アラビア語の方言はいくつありますか?

決まった数はありません。方言は地域(エジプト、北アフリカ、レバント、湾岸、イエメン)や、さらに細かい地域単位でまとめられます。MADAR だけでも 25 都市の方言を扱っています。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く