音声認識がアラビア語の方言を苦手とするのは、方言が発音、語彙、綴りの点で現代標準アラビア語(MSA)と異なり、話者が英語やフランス語を混ぜるからです。プロバイダーの実力を知るには、実際の音声で方言ごとに小さなテストセットを作り、方言ごとに別々に採点してください。
リヤドからの電話、カイロのボイスメモ、カサブランカのサポート通話はどれも「アラビア語」ですが、1 つのモデルが最初のものはうまく処理し、3 つ目はうまく処理できないこともあります。
この記事では、主要な方言グループがそれぞれ音声認識にとって難しい理由と、自社の方言でプロバイダーの実力がわかるテストの作り方を説明します。価格、制限、プライバシーを含む全体的な選定チェックリストは、アラビア語音声認識 API の選び方をご覧ください。
アラビア語の方言はなぜ音声認識にとって難しいのですか?
4 つの問題が積み重なります。
- **発音が違う。**同じ文字でも地域によって発音が異なるため、音響モデルは複数の音を 1 つの綴りに対応させなければなりません。
- **語彙が違う。**日常の単語が方言ごとに異なります。主に MSA で学習したモデルは、方言の単語を対応する正則語に「訂正」してしまうことがあり、参照テキストが逐語的な書き起こしなら、それは誤りとして数えられます。
- **標準的な綴りがない。**方言はくだけた形で書かれるため、人間の書き起こし担当者 2 人でも意見が割れます。学習データも偏っています。方言のカバー範囲に関する 2024 年の研究は、既存の ASR システムが “mainly cover the modern standard Arabic (MSA) variety and few high-resource dialects”(訳:主に現代標準アラビア語(MSA)と、少数の高リソース方言をカバーしている)と指摘しています(arXiv 2411.05872)。
- **コードスイッチング。**話者は文の途中で英語やフランス語を混ぜます。8 つの方言をカバーする Casablanca データセットは、方言や性別と並んでコードスイッチングにも注釈を付けています。
Open Universal Arabic ASR Leaderboard の論文(Interspeech 2025)がオープンソースのモデルを複数の多方言テストセットで評価しているのも、まさにこの理由からです。アラビア語のスコアを 1 つにまとめると、ばらつきが隠れてしまいます。
各方言は音声認識をどうつまずかせるのですか?
| 方言グループ | 地域 | ASR でつまずきやすい点 |
|---|---|---|
| 湾岸方言(Khaleeji) | サウジアラビア、UAE、クウェート、カタール、バーレーン、オマーン | 英語の製品名、数字、ブランド名が混ざる。qaf と kaf の地域的な発音 |
| エジプト方言 | エジプト | jeem を硬い g で発音。qaf はしばしば声門閉鎖音。メディアで非常によく使われるため、モデルが目にする量は通常多い |
| レバント方言 | シリア、レバノン、ヨルダン、パレスチナ | 都市部では qaf が声門閉鎖音。フランス語や英語が混ざり、特にレバノンで顕著 |
| マグリブ方言(Darija) | モロッコ、アルジェリア、チュニジア、リビア | MSA から最も遠い。短母音の脱落。フランス語とのコードスイッチングが多い。アマジグ語からの借用語 |
| イラク方言 | イラク | 独特の語彙と発音。公開されている学習用音声が少ない |
これらは傾向であって、規則ではありません。各グループの中でも都市部と地方では話し方が異なり、若い話者ほどコードスイッチングが多くなります。要点は、グループごとに失敗の仕方が違うので、グループごとに採点するということです。
アラビア語方言のテストセットはどう作るのですか?
1. 方言ごとに実際の音声を集める
本番で扱うチャネル(電話、WhatsApp のボイスメモ、会議の録音)から、方言ごとに 30〜50 クリップを抜き出します。8 kHz の電話音声はスタジオ音声とは挙動が異なります。各クリップに方言のラベルを付け、英語やフランス語を含むクリップには印を付けてください。
2. 先に綴りの規則を決める
誰かが参照テキストを書く前に、次のどちらにするかを決めます。
- 方言のまま逐語的に(話された通りに、方言の綴りで書く)、または
- 正規化する(一貫した形に揃える)。
選んだ方針を例とともに書き残してください。参照テキストが逐語的で、モデルが MSA 寄りの単語を出力すると、意味が正しくても WER はひどい数字になります。どちらの選択も間違いではありません。下流のシステムが必要とするものに合わせることが大切です。
3. 方言ごとに 10 クリップの参照テキストを書く
その方言のネイティブスピーカーに書き起こしてもらいます。コードスイッチングを含むクリップでは、英単語をラテン文字のまま残すかどうかを決め、全体で統一してください。
4. 両方を正規化してから採点する
ダイアクリティカルマークを除去し、alef の字形(إ أ آ を ا に)と語末の yaa(ى を ي に)を統一し、句読点を削除し、東アラビア数字を西洋数字に変換します。そのうえで次を計算します。
| 指標 | 理由 |
|---|---|
| 方言ごとの WER | 標準的な指標。接語や接頭辞に厳しい |
| 方言ごとの CER | 綴りの揺れに寛容 |
| 固有表現の正確さ | 数字、日付、人名が正確に書き起こされた割合 |
| コードスイッチンググループの WER | 英語やフランス語の単語が残っているかがわかる |
jiwer パッケージで WER と CER を計算できます。アラビア語の WER 解説には、再利用できる正規化関数と、正規化でスコアがどれだけ変わるかの実例があります。
5. 書き起こしを読む
コールセンターや銀行の業務フローが使えるかどうかは、数字で決まります。方言ごとに 20 件の書き起こしを読み、すべての数字、日付、人名を手作業で確認してください。
公開されているアラビア語の WER の数字から何がわかりますか?
公開ベンチマークが示すのは方向性であって、約束ではありません。BroadNet はモデルカタログで BroadNet Transcribe Arabic の WER を 3 つ公開しています。FLEURS-ar(クリーンな朗読音声)で 3.8、MASC-ar(実環境の混在した音声)で 21.1、自社の方言セットで 23.4 です。同じモデルでも朗読音声から方言音声で 6 倍に跳ね上がっており、だからこそ自社の方言でテストする必要があります。
プロバイダーを比較するときは、同じテストセットで比較してください。Open Universal Arabic ASR Leaderboard のようなリーダーボードが役に立つのは、すべてのモデルが同じ方法で採点されるからです。ベンダーが自社のデータセットで出した数字は、別のベンダーの数字とは比較できません。
方言の書き起こしはどの LLM に読ませるべきですか?
書き起こしは通常、通話の要約、チケットの振り分け、質問への回答などのために LLM に渡されます。その LLM も方言を読める必要があります。テスト方法はアラビア語向け LLM の選び方で説明しています。Qwen3.8 27B は、BroadNet が湾岸方言とエジプト方言でテストしたモデルです。
BroadNet Inference の位置づけ
BroadNet Transcribe Arabic は方言を含むアラビア語向けに作られたモデルで、料金は 1 分 $0.0042(1 時間 $0.25)です。BroadNet の報告では、Open Universal Arabic ASR Leaderboard で 37 件中 2 位 (2026年9月時点の数値。2026年11月15日のライブのリーダーボードでは 39 件中 4 位) に位置し、API での提供がライセンス上認められているモデルの中では 1 位です。雑音の多い音声で数字、日付、人名を正確に認識したい場合、BroadNet はファインチューニング版を要相談で提供しています。$5 の初回クレジットで約 1,190 分を処理でき、上記のテストをすべて実施するのに十分です。音声認識コスト計算ツールを使えば、本番の利用量を月額料金に換算できます。始めるにはキーを作成してください。
BroadNet は方言グループごとの WER を公開していません。だからこそ、このテストを実施すべきです。同社の方言セットの数字は 1 つの数字にすぎず、顧客が話すのはすべての方言ではなく、1 つか 2 つの方言だからです。
