Arabizi は Franco-Arabic や「Franco」とも呼ばれ、ラテン文字にない音を、ع を 3、ح を 7 のように数字で表して、アラビア語をラテン文字で書く表記です。LLM で扱うには、まず判定し、方言を指定してモデルにアラビア文字へ変換させ、パイプラインの残りはアラビア語テキストで実行します。
「ana 3ayez a7gez ma3ad bokra」は、エジプトではごく普通の顧客メッセージで、「أنا عايز أحجز ميعاد بكرة」(明日の予約を取りたい)という意味です。アラビア語キーボードのない携帯電話やコンピューターで広まり、今もチャットに現れます。
どの数字がどのアラビア文字を表しますか?
標準はありませんが、形が似ているアラビア文字や、ラテン文字に相当するものがないアラビア文字に数字が使われます。アラビア語チャットアルファベットの概要には、一般的な慣習が載っています。
| 数字 | アラビア文字 | 例 | アラビア文字表記 | 意味 |
|---|---|---|---|---|
| 2 | ء(hamza)/ أ | so2al | سؤال | 質問 |
| 3 | ع | 3arabi | عربي | アラビア語 |
| 3’ または 8 | غ | 8aly / 3’aly | غالي | 高い(値段) |
| 5 または kh | خ | 5alas | خلاص | 終わり / もういい |
| 6 | ط | 6ayeb | طيب | OK(湾岸) |
| 7 | ح | 7abibi | حبيبي | 大切な人 |
| 9 | ص | 9ba7 | صباح | 朝(湾岸) |
| 8 | ق(一部の地域) | 8alb | قلب | 心 |
地域ごとの習慣は異なります。たとえばこの概要によると、غ を 8 で表すのはレバノンだけで、サウジアラビアでは ق を 8 や 9 で表すのが一般的です。エジプトの Arabizi では、ق が声門閉鎖音として発音される場合に 2 で表すことがあります。母音は耳で聞いたとおりに書かれるため、「ma3lesh」「ma3lsh」「m3lsh」(معلش、気にしないで)はすべて同じ単語です。
Arabizi がソフトウェアにとって難しいのはなぜですか?
- **ほぼ常に方言である。**人は話すとおりに Arabizi を書くため、方言のあらゆる難しさを一度に抱え、しかもよりどころとなるアラビア文字がありません。
- 英語やフランス語のように見える。「bas」はアラビア語では بس(でも / だけ)ですが、英語では意味がありません。「men」は من(〜から / 誰)です。キーワード検出器や言語識別ツールは、Arabizi を英語や他のラテン文字の言語と判定しがちです。
- **標準的な綴りがない。**完全一致の検索、意図のルール、分析が機能しません。
- コードスイッチング。「el order bta3i lessa ma waslsh, can u check?」は、1 文の中でエジプトの Arabizi と英語が混ざっています。
ルールベースの変換器が苦労するのは、1 つのラテン文字列が多くのアラビア語の綴りに対応しうるからです。Darwish による Arabizi の判定と変換の研究などの研究システムは、音訳マイニングと言語モデリングを組み合わせて正しい単語を選び、88.7% の変換精度を報告しました。現代の LLM は、事実上それを 1 ステップで行います。
LLM は Arabizi をどの程度扱えますか?
大規模なモデルは Web や SNS のテキストで Arabizi を見ているため、よくあるフレーズはたいてい理解できます。結果はモデルや方言によって異なるので、頼る前にテストしてください。典型的な失敗パターンは次のとおりです。
- 英語として扱い、読み違えたメッセージに返信する。
- **違う方言に変換する。**たとえば、エジプト方言をトーンの変わる MSA の単語に「変換」したり、ユーザーがレバノン人なのに湾岸方言と推測したりします。
- **出力の文字が一貫しない。**あるメッセージには Arabizi で、次のメッセージにはアラビア文字で返信します。
- **名前や地名で偽の正確さを示す。**ラテン文字の綴りが曖昧な場合に起こります。
対処法は方言全般と同じです。何を想定し、何を出力すべきかをモデルに伝えてください。
LLM で Arabizi をアラビア文字に変換するには?
まず Arabizi をアラビア文字に変換し、その後パイプラインの残り(検索、ルーティング、返信)をアラビア語テキストで実行します。これでコードの経路が 1 つになり、検索や分析も機能します。
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
NORMALISE = """You receive a customer message that may be in Arabic script, English,
or Arabizi (Arabic written in Latin letters and digits, e.g. 3=ع, 7=ح, 2=ء, 5=خ).
Customers are mostly Egyptian. Return JSON only:
{"script": "arabic" | "arabizi" | "latin_english" | "mixed",
"dialect": "egyptian" | "gulf" | "levantine" | "msa" | "other" | null,
"arabic_text": "<the message in Arabic script, keeping the dialect words; keep English words in Latin letters>",
"english_gloss": "<short English meaning>"}"""
def normalise(message: str) -> dict:
r = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
max_tokens=1500, # the model reasons first; leave room for the JSON
messages=[{"role": "system", "content": NORMALISE},
{"role": "user", "content": message}],
)
text = r.choices[0].message.content.strip()
text = text.removeprefix("```json").removeprefix("```").removesuffix("```")
return json.loads(text) # validate the fields before you trust them
print(normalise("el order bta3i lessa ma waslsh, can u check?"))
良い結果の例です。
{"script": "mixed", "dialect": "egyptian",
"arabic_text": "الأوردر بتاعي لسه ما وصلش، can u check?",
"english_gloss": "My order still hasn't arrived, can you check?"}
この設計についての補足です。
- 方言の単語を残す。“the message in Arabic script, keeping the dialect words”(訳:方言の単語を残したまま、アラビア文字でメッセージを書く)と求めることで、MSA への無言の書き換えを防ぎます。書き換えられると、ルーティングや感情分析に必要な意味が失われます。
- **原文を残す。**監査やルールの再学習のために、変換結果の横に元のメッセージを保存します。
- **安価な事前フィルターを使う。**単純なチェック(下の正規表現のように、単語内にラテン文字と数字 2、3、5、6、7、8、9 のいずれかがある)で、LLM の呼び出しを使う前に Arabizi の大半を拾えます。アラビア語だけ、または英語だけのメッセージは変換をスキップできます。より厳密な出力には、スキーマ付きの構造化出力を使ってください。
import re
ARABIZI_HINT = re.compile(r"\b[a-z]*[2356789][a-z]+\b|\b[a-z]+[2356789][a-z]*\b", re.I)
def maybe_arabizi(text: str) -> bool:
return bool(ARABIZI_HINT.search(text)) and not re.search(r"[-ۿ]", text)
このヒントは数字を含まない Arabizi(「ana mesh fahem」、わからない)を見逃し、「a7x」のような製品コードで誤検出します。分類器ではなく、コスト削減の手段として扱ってください。本当の判断は LLM の script フィールドです。
返信にはどの文字を使うべきですか?
メッセージごとではなく、製品ごとに決めてください。
| 返信に使う文字 | 使う場面 |
|---|---|
| アラビア文字(MSA または軽い方言) | ほとんどの企業の既定。誰でも読める |
| 英語 | サポート言語が英語の場合、または顧客がほぼ英語を混ぜて書いた場合 |
| Arabizi | 顧客のスタイルに合わせたい若者向けブランド。ネイティブスピーカーとサンプルをレビューする |
Arabizi を自動的にまねると、従うべき標準がないため、ネイティブのユーザーには奇妙に見える綴りになりがちです。まねる場合は、好みの綴りの例をモデルに与えてください。文体と文字の設定について詳しくはアラビア語のプロンプトエンジニアリングを参照してください。
Arabizi にはどのモデルを使うべきですか?
自社のチャネルから実際の Arabizi メッセージを 50〜100 件集め、それぞれの正しいアラビア文字版と意図を書き、まず意図の正解率で、次に変換の品質で候補モデルを採点してください。BroadNet は、自社のテストで Qwen3.8 27B が湾岸方言とエジプト方言を理解し、流暢なアラビア語を書いたと報告していますが、Arabizi に特化した結果は公開していないので、自社のメッセージでテストしてください。DeepSeek V4.1 Flash は出力トークン単価が安く、BroadNet Gemma 4 VL 26B は大量の事前分類ステップに使える BroadNet で最も安いモデルです。価格は料金ページにあります。ラテン文字の Arabizi とアラビア文字ではトークン化のされ方が違うため、費用を見積もる前に、いくつかのメッセージの両方の版を無料のトークンカウンターに貼り付けてください。
Arabizi はどこに現れますか?
- **WhatsApp と SNS の DM:**主な発生源です。アラビア語 WhatsApp チャットボットの構成を参照してください。
- **検索ボックス:**ユーザーは「7agz」(حجز、予約)と入力します。アラビア語の RAG 検索の前に、同じステップでクエリを正規化してください。
- **言語を指定すれば、音声認識からは出てこない。**Arabizi は人が入力するものです。アラビア語の音声の書き起こしがラテン文字で返ってきた場合、リクエストに
language=arが欠けている可能性が高いです。BroadNet のドキュメントでは、指定しないとアラビア語が音訳されることがあると注意しています。WhatsApp ボイスメッセージのガイドを参照してください。
