アラビア語は通常、短母音を書かずに表記します。読み手は文脈から補いますが、ソフトウェアにはそれが難しいことがよくあります。母音記号を復元する処理を diacritization またはタシュキール(tashkeel)と呼び、文に応じて كتب を كَتَبَ(彼は書いた)、كُتُبٌ(本、複数)、كُتِبَ(書かれた)に変えます。この記事では、OpenAI 互換 API 経由で LLM を使って母音を付ける方法、モデルがテキストを黙って書き換えるのを防ぐ方法、専用ツールと比べて結果を測る方法を説明します。
母音記号が必要になるのはどんなときですか?
- **テキスト読み上げ。**音声が単語を正しく発音するには母音が必要です。CATT 論文は、母音記号によって改善される用途としてテキスト読み上げと機械翻訳を挙げています。BroadNet Inference にはテキスト読み上げのエンドポイントがないため、TTS パイプラインでは、母音を付けたテキストを別の TTS サービスに渡します。
- **学習者や子ども向けの教材。**まだ学習中の読み手は記号に頼っています。
- **あいまいな名前や用語。**固有名詞、まれな単語、専門用語など、母音を誤ると意味が変わるもの。
- **宗教文献や古典。**ここでは記号そのものがテキストの一部であり、自動ツールは人による確認のもとで欠落部分を補うだけにすべきです。
検索や情報検索では、通常は母音記号は不要で、むしろ取り除きます。検索のためのアラビア語テキスト正規化を参照してください。無料のアラビア語テキスト正規化ツールなら、この除去をブラウザ上で行えます。母音付与はその逆の操作で、はるかに難しい処理です。記号を取り除くのは表引きで済みますが、付けるには文法と文脈が必要です。
LLM の母音付与の精度はどのくらいですか?
公開されている 2 つの数値を、注意して読んでみます。
| システム | CATT ベンチマーク、格語尾ありの DER | 格語尾なしの DER | 格語尾ありの WER | 格語尾なしの WER |
|---|---|---|---|---|
| CATT エンコーダー・デコーダー | 8.624% | 6.989% | 34.191% | 28.477% |
| CATT エンコーダーのみ | 8.762% | 7.088% | 35.508% | 29.714% |
| GPT-4(論文本文によれば GPT-4-turbo) | 9.515% | 8.113% | 38.311% | 33.505% |
| Command R+ | 13.169% | 11.329% | 48.518% | 44.158% |
| Shakkala | 13.494% | 10.386% | 50.387% | 40.643% |
| Mishkal | 16.482% | 10.796% | 60.844% | 40.215% |
出典:CATT 論文(2024 年)の表 4。値が低いほど良い結果です。ベンチマークは 2023 年に収集したニュース 742 文で、ネイティブの専門家 2 人が母音を付け、3 人目が確認しています。
論文の 2 つ目のテストセットである WikiNews(400 文)では、GPT-4 がほかのどのシステムよりもはるかに良い DER 0.551% を記録しました。著者はこの行に印を付け、モデルが学習時に WikiNews を見ていた可能性を指摘しています。これは LLM ベンチマーク全般への警告です。公開されたテスト用テキストは学習データに含まれているかもしれません。CATT の著者は、コーランやハディースの引用を多く含む書籍から成る Tashkeela についても同じ懸念を示しています。
Skiredj と Berrada による別の 2024 年の論文は、Fadel らのベンチマークで GPT-4 を DER 約 20%、WER 約 30% と報告していますが、上の表と比較するのに必要な詳細は示されていません。
つまり、GPT-4 クラスのモデルは専用ツールに迫ることもあれば、及ばないこともあります。どちらの論文も、現在呼び出せるオープンモデルより前のものです。自分のテキストで測定してください。
どんなテストセットがありますか?
| データセット | 内容 |
|---|---|
| Tashkeela | 97 冊の書籍から集めた、完全に母音が付いた 75,629,921 語。98.85% は Shamela ライブラリの古典アラビア語、1.15% は現代標準アラビア語 |
| Fadel らのベンチマーク | Tashkeela から抽出した約 230 万語。学習 50,000 行、検証 2,500 行、テスト 2,500 行 |
| CATT ベンチマーク | 人手で母音を付けたニュース 742 文。CATT のモデルと一緒に公開 |
| WikiNews | 人手で母音を付けた MSA のニュース 400 文 |
Tashkeela と Fadel のセットは主に古典アラビア語です。扱うテキストが現代のビジネスやニュースのアラビア語なら、CATT と WikiNews のセットのほうが近く、自分のテキストのサンプルが最も近くなります。
文字を変えさせないプロンプトとは?
モデルの仕事は記号を加えることだけで、それ以外には一切触れないことです。LLM は手助けをしたがり、الى を إلى に直したり、語末の ى を ي に変えたり、抜けたハムザを加えたりします。どれも正しいアラビア語かもしれませんが、それはスペル訂正であって母音付与ではありません。知らないうちにテキストが変わってしまいます。
そこで、プロンプトでルールを示し、コードで強制します。返答から母音記号を取り除き、同じく記号を除いた入力と比べます。文字、スペース、句読点が 1 つでも違えば、その返答は却下します。
import difflib, os, re, unicodedata
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MARKS = re.compile("[ً-ْٰ]") # tanween, harakat, shadda, sukun, dagger alef
SYSTEM = """Add full Arabic diacritics (tashkeel) to the user's text, including case endings.
Reply with the diacritized text only. Do not add, remove, reorder or replace any letter,
space, digit or punctuation mark. Do not fix spelling. Keep any diacritics already present."""
def skeleton(s: str) -> str:
"""The text with every diacritic removed: what the model is not allowed to change."""
return MARKS.sub("", unicodedata.normalize("NFC", s))
def diacritize(text: str, model: str = "broadnet/qwen3.8-27b", tries: int = 2) -> str | None:
for attempt in range(tries):
r = client.chat.completions.create(
model=model, max_tokens=4000, temperature=0,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
out = unicodedata.normalize("NFC", (r.choices[0].message.content or "").strip())
if skeleton(out) == skeleton(text):
return out
diff = [d for d in difflib.ndiff(skeleton(text).split(), skeleton(out).split()) if d[0] in "+-"]
print(f"attempt {attempt + 1}: letters changed {diff}")
return None # keep the undiacritized text; never ship a changed sentence
for line in ["ذهب الطالب الى المدرسة", "قرأ محمد الكتاب"]:
print(diacritize(line))
これは本番の API ではなく、ローカルのモックサーバーで実行しました。1 文目に対する用意した返答は、2 回の試行とも الى を إلى に「修正」しており、2 文目の返答は問題ありませんでした。出力は次のとおりです。
attempt 1: letters changed ['- الى', '+ إلى']
attempt 2: letters changed ['- الى', '+ إلى']
None
قَرَأَ مُحَمَّدٌ الْكِتَابَ
コードについての補足です。
- **まず Unicode NFC。**ハムザは合成済みの 1 文字(أ)で来ることもあれば、文字と結合記号の組み合わせで来ることもあります。NFC で比較前に両者をそろえます。この落とし穴は正規化の記事で詳しく扱っています。
- **
max_tokens=4000。**BroadNet のドキュメントによると、DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は回答の前に推論し、その推論はmax_tokensに含まれます。上限が小さすぎると空の返答が返り、チェックで却下されます。余裕を持たせるか、reasoning_effortを low にしてください。推論モデルの空レスポンスと推論トークン予算計算ツールも参照してください。 - **このチェックは「既存の母音記号を保つ」ことまでは確認しません。**入力の一部に母音記号が付いている場合は、それらの記号も比較してください。
- **スペルは別の判断です。**الى を直したいなら、先に訂正ステップを実行し、訂正後のテキストに母音を付けます。2 つを混ぜると、どちらも検証できなくなります。
- **長いテキストは分割します。**1 リクエストにつき 1 文か 1 段落を送ります。CATT 自体も入力を 1,024 文字までに制限し、長い文は句読点で分割します。同じやり方で LLM の返答も短く保て、再試行のコストも抑えられます。
アラビア語のプロンプトを書く一般的なコツ(モデルに母音記号を付けないよう指示すべき場面を含む)は、アラビア語のプロンプトエンジニアリングを参照してください。
母音付与はどう評価しますか:DER と WER
**母音記号誤り率(DER)は、母音記号が参照と異なる文字の割合です。ここでの単語誤り率(WER)**は、誤った母音記号を 1 つ以上含む単語の割合です。ASR の記事で扱う音声認識の WER とは別物で、挿入や削除された単語ではなく、記号を誤った単語を数えます。
数値を大きく左右する設定が 2 つあります。
- **格語尾を含めるかどうか。**単語の最後の文字は文法上の格(イウラーブ、i’rab)を表し、構文によって決まります。誤りの多くが格語尾から生じるため、論文は両方の設定で報告します。
- **母音記号のない文字を数えるかどうか。**記号のない文字(الطالب の alef など)を「記号なし」という正しい予測として数えるスクリプトもあれば、飛ばすスクリプトもあります。Fadel の評価スクリプトにはこのためのフラグがあります。
公開されているスクリプトはこうした選択がまちまちなので、比べてよいのは同じスクリプトで算出した数値だけです。次のスクリプトは短く、通して読めます。
import re, unicodedata
MARK = re.compile("[ً-ْٰ]")
LETTER = re.compile("[ء-غف-ي]")
def letters(word: str) -> list[tuple[str, str]]:
"""(letter, its diacritics in a fixed order) for each Arabic letter in a word."""
out = []
for ch in unicodedata.normalize("NFC", word):
if LETTER.match(ch):
out.append([ch, ""])
elif MARK.match(ch) and out:
out[-1][1] += ch
return [(c, "".join(sorted(d))) for c, d in out]
def der_wer(gold: list[str], pred: list[str], case_ending=True, count_bare=True) -> dict:
"""DER: share of scored letters with the wrong diacritics. WER: share of words with any such letter.
case_ending=False skips each word's last letter. count_bare=False skips letters with no gold diacritic."""
errs = total = werr = words = 0
for g_line, p_line in zip(gold, pred):
for g, p in zip(g_line.split(), p_line.split()):
G, P = letters(g), letters(p)
if [c for c, _ in G] != [c for c, _ in P]:
raise ValueError(f"letters differ: {g} / {p}") # score only same-skeleton output
scored = [(gd, pd) for i, ((_, gd), (_, pd)) in enumerate(zip(G, P))
if (case_ending or i < len(G) - 1) and (count_bare or gd)]
if not scored:
continue
bad = sum(gd != pd for gd, pd in scored)
errs += bad; total += len(scored); werr += bad > 0; words += 1
return {"DER": round(100 * errs / total, 2), "WER": round(100 * werr / words, 2)}
gold = ["ذَهَبَ الطَّالِبُ إِلَى المَدْرَسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابَ"]
pred = ["ذَهَبَ الطَّالِبَ إِلَى المَدْرِسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابُ"]
for ce in (True, False):
print("with case endings" if ce else "without case endings", der_wer(gold, pred, case_ending=ce))
このおもちゃの予測では、32 文字・7 単語の中に、格語尾の誤りが 2 つ、語中の母音の誤りが 1 つあります。格語尾ありでは DER 9.38、WER 42.86、格語尾なしでは DER 4.0、WER 14.29 と出力されます。WER が少数の誤りを大きく見せることに注意してください。記号を 1 つ誤るだけで、単語全体が誤りになります。
このスクリプトは、文字が変わった単語の評価を拒否します。これは意図的です。文字を書き換える母音付与ツールはタスクに失敗しており、その DER には意味がありません。
2 つ目のチェックとして、ルールベースの母音付与ツール Mishkal 0.4.1 を、人手で母音を付けた 16 語の 1 文で試しました。4 つの誤りはすべて格語尾で、たとえば مُحَمَّدٌ を مُحَمَّدُ としていました。格語尾ありで DER 5.88、なしで 0.0 でした。1 文では Mishkal について何も証明できませんが、両方の設定を報告すべき理由はよくわかります。
テストセットを作るには、自分のテキストから 100〜200 文を選び、ネイティブスピーカーに母音を付けてもらい、記号を取り除いてから各候補で実行します。人手の版を正解(ゴールド)として残しておきます。
専用ツールが LLM に勝るのはどんなときですか?
| 選択肢 | 向いている場面 |
|---|---|
| 専用モデル(CATT、libtashkeel、Mishkal) | 大量処理、テキストの種類が固定、レイテンシ要件が厳しい、オフラインやオンデバイスでの利用、設計上文字単位で一致する出力が必要な場合 |
| API 経由の LLM | 量が少ないか不規則、入力が混在または乱雑、ML 運用の体制がない、パイプラインの他のステップですでに LLM を呼んでいる場合 |
専用モデルは文字ごとに記号を予測するため、テキストを書き換えることができません。CATT は Apache 2.0 で、pip install catt-tashkeel でインストールできます。README では、速度重視ならエンコーダーのみのモデル、精度重視ならエンコーダー・デコーダーのモデルを推奨しています。libtashkeel は MIT で、主に MSA で学習しています。Mishkal はルールベースで GPL です。製品に組み込んで配布する場合はこの点が重要になります。
LLM は始めるのが早く、学習済みモデルが見たことのない入力(方言、アラビア語と英語の混在、変わった句読点)にも対応できます。ただし、すべての返答に上記の骨格チェックが必要で、トークン単位で料金がかかります。
LLM での母音付与のコストは?
母音記号は余分な文字であり、トークナイザーはそれを余分なトークンに分割します。2,500 行の Fadel テストセット(125,098 語)について、各モデル自身のトークナイザーで、記号なしのテキストと完全に母音を付けたテキストを数えました。
| トークナイザー | 記号なし | 母音付き | 比率 |
|---|---|---|---|
| Qwen3.8 27B | 196,987 | 407,144 | 2.07× |
| DeepSeek V4.1 Flash | 222,555 | 540,454 | 2.43× |
| Gemma 4 VL 26B | 208,769 | 508,758 | 2.44× |
| GLM 5.3 | 239,753 | 770,361 | 3.21× |
記号なしのテキストには入力トークン、母音付きの返答には出力トークンの料金がかかり、さらに推論の分が加わります。高いのは出力側です。BroadNet の料金ページによると、100 万トークンあたり Qwen3.8 27B が $2.17、DeepSeek V4.1 Flash が $0.52、GLM 5.3 が $3.46、Gemma 4 VL 26B が $0.22 です。チェックに失敗した後の再試行でさらに増えます。自分のテキストをアラビア語トークンカウンターに貼り付ければ、手元のデータでの比率を確認できます。そもそもアラビア語がなぜトークンを多く消費するのかは、アラビア語と英語の 1 語あたりのトークン数を参照してください。
大規模なアーカイブを一度だけ処理するなら、DeepSeek V4.1 Flash のプランで従量課金をセッション単位の定額(1 週間 $15 または 1 時間 $1)に置き換えられます。各セッションは一度に 1 リクエストしか実行しないため、Batch API なしでのバッチ処理のように実行計画を立ててください。
BroadNet Inference の位置づけ
BroadRouter は BroadNet 自身のサイトです。BroadNet Inference は上記 4 つのチャットモデルを 1 つの OpenAI 互換エンドポイントで提供しているため、ベース URL とキーを設定すれば、このコードは OpenAI Python SDK で動きます。Gemma 4 VL 26B は $5 の初回クレジットで使えます。DeepSeek、GLM、Qwen はチャージが必要です。BroadNet には母音付与のエンドポイントがなく、独自の母音付与ベンチマークも公開しておらず、テキスト読み上げもありません。どのモデルが自分のテキストに最適かは測定されていないので、選ぶ前に自分のサンプルで評価してください。リクエストの詳細は API リファレンスを参照してください。
