BroadRouter

LLM でアラビア語の文法・スペルを校正する方法

BroadNet Inference チーム · 約 8 分で読めます · 公開日 · 更新日

モデルには、修正を最小限にし言い換えない訂正済みテキストだけを求めます。次にコードで返答と入力の差分を取り、変更が多すぎる返答は却下し、単語単位の各修正をハムザ、ター・マルブータ、アリフ・マクスーラ、結合、分割、その他に分類します。人手で訂正したサンプルを修正単位で、適合率・再現率・F0.5 で評価します。

アラビア語の校正は、「このテキストを直して」という 1 行のプロンプトで済みそうに見えます。実際には、モデルは言い換えたり、母音記号を加えたり、方言の単語を正式な語に置き換えたり、変更点を説明したりするため、どの修正が本当に必要だったのか判断できません。この記事では、OpenAI 互換の LLM で、修正を最小限にとどめ、コードで返答を確認し、各修正を誤りの種類で分類し、研究用ベンチマークと同じ方法で全体を評価する校正ツールを作ります。

LLM のアラビア語文法校正の精度はどのくらいですか?

標準的なベンチマークは QALB 共有タスクです。QALB-2014 では、Al Jazeera のウェブサイトに寄せられた現代標準アラビア語のコメントが使われました。学習用テキストは 100 万語以上で約 306,000 件の訂正を含み、テストセットは約 50,000 語です。QALB-2015 では、外国語としてアラビア語を学ぶ学習者(L2)の作文による 2 つ目のトラックが加わりました。どちらも M2 scorer で、修正単位でシステムを評価しました。最高スコアは次のとおりです(F1、高いほど良い)。

テストセット 最良システムの F1 テキスト
QALB-2014 テスト 67.91 ネイティブ話者のニュースコメント
QALB-2015 ネイティブテスト 72.87 ネイティブ話者のニュースコメント
QALB-2015 L2 テスト 41.20 学習者の作文

参考になる警告は L2 の行です。学習者のテキストには語彙選択の誤りや単語の抜けが多く、最良システムでもスコアははるかに低くなりました。ユーザーが学習者なら、自分の数値もこの行に近くなると考えてください。

その後、Kwon、Bhatia、Nagoudi、Abdul-Mageed(ArabicNLP 2023)が、QALB-2014 テストセットで ChatGPT と GPT-4 を試しました。同じ評価ツールでの結果です。

システム F1
ChatGPT、例 1 つ 53.59
ChatGPT、例 5 つ 63.98
GPT-4、例 5 つ 65.49
AraT5v2、ファインチューニング 67.70

プロンプトにとって重要な点が 2 つあります。例を増やすと大きく改善しました。そして、ゼロショットのプロンプトやアラビア語で書いたプロンプトでは、返答が説明だらけになり、著者は自動で評価できませんでした。校正ツールには、プログラムで差分を取れる出力が必要です。

テキストを正規化するだけではだめなのですか?

このサイトのアラビア語テキスト正規化ツールは、タシュキールとタトウィールを取り除き、أ إ آ を ا に、オプションで ى を ي に、ة を ه にまとめます。احمد と入力したユーザーが أحمد を見つけられるべきなので、検索にとっては正しい処理です。しかし校正の前に行うのは誤りです。校正ツールが復元すべき区別を消してしまうからです。正規化後は انا と أنا が同じ文字列になり、ハムザの誤りも、その修正も消えてしまいます。

両方が必要なら、3 つのコピーを持ちます。原文、ユーザーに表示する訂正済みテキスト、そして検索インデックス用に訂正済みテキストを正規化したコピーです。インデックス側については検索のためのアラビア語テキスト正規化を参照してください。ただし、校正の前に行うべき正規化が 1 つあります。Unicode NFC です。分解されたアリフと結合ハムザを 1 文字にまとめるので、存在しない変更を差分が報告しなくなります。

プロンプトには何を書けばよいですか?

最小限の修正を求め、重視する誤りの種類を挙げ、望まない変更を禁止し、訂正済みテキストだけを求めます。指示を英語で書くかアラビア語で書くかは自由です。その得失はアラビア語のプロンプトエンジニアリングで扱っています。Kwon らは、英語の指示と例で実用的な出力を得ました。自分のデータから訂正前後の文のペアを 3〜5 組加える(フューショット)のが、最初に試すべき最も安上がりな改善です。

temperature は 0 にします。毎回同じ訂正が欲しいからです。テキストがエジプト方言や湾岸方言などの場合は、方言を残すかどうかを明記してください。下のプロンプトは現代標準アラビア語(MSA)を前提とし、スタイルを変えないようモデルに指示しているので、方言にも対応できます。

モデルの返答はどう確認しますか?

コードは 1 回リクエストを送り、返答が入力とどれだけ違うかを測り、単語単位の修正を抽出して、それぞれにラベルを付けます。

import difflib, os, re, unicodedata
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

SYSTEM = """You are an Arabic proofreader. Correct spelling, grammar and punctuation
errors in the user's Modern Standard Arabic text with the fewest possible edits.
Rules:
- Fix hamza, taa marbuta (ة/ه), alef maqsura (ى/ي), agreement, missing or extra
  letters, wrongly split or merged words, and punctuation.
- Do not rephrase, reorder, shorten, translate or change the style or dialect.
- Do not add or remove diacritics (tashkeel).
- If the text is already correct, return it unchanged.
Reply with the corrected text only: no explanation, no quotes, no list of changes."""

def tokens(s: str) -> list[str]:
    s = unicodedata.normalize("NFC", s)        # composed hamza forms, so أ is one character
    return re.findall(r"\w+|[^\w\s]", s)       # Arabic letters are \w; ، ؟ ؛ become tokens

def edits(src: str, hyp: str) -> list[tuple]:
    """Word-level edits (start, end, replacement, original): the idea behind an M2 file's A lines."""
    a, b = tokens(src), tokens(hyp)
    out = []
    for op, i1, i2, j1, j2 in difflib.SequenceMatcher(None, a, b, autojunk=False).get_opcodes():
        i, j = i1, j1
        while op != "equal" and (i < i2 or j < j2):     # split the block into one-word edits
            if i + 1 < i2 and j < j2 and a[i] + a[i + 1] == b[j]:      # و قابلت -> وقابلت
                out.append((i, i + 2, b[j], f"{a[i]} {a[i + 1]}")); i += 2; j += 1
            elif i < i2 and j + 1 < j2 and a[i] == b[j] + b[j + 1]:    # عبدالله -> عبد الله
                out.append((i, i + 1, f"{b[j]} {b[j + 1]}", a[i])); i += 1; j += 2
            elif i < i2 and j < j2:
                out.append((i, i + 1, b[j], a[i])); i += 1; j += 1
            elif i < i2:                                                # deleted word
                out.append((i, i + 1, "", a[i])); i += 1
            else:                                                       # inserted word
                out.append((i, i, b[j], "")); j += 1
    return out

HAMZA = str.maketrans("أإآٱؤئ", "ااااوي")
RULES = [("hamza", lambda w: w.translate(HAMZA).replace("ء", "")),
         ("taa marbuta", lambda w: w.replace("ة", "ه")),
         ("alef maqsura", lambda w: w.replace("ى", "ي"))]

def error_class(orig: str, corr: str) -> str:
    if all(not c.isalnum() for c in (orig + corr).replace(" ", "")):
        return "punctuation"
    if orig != corr and orig.replace(" ", "") == corr.replace(" ", ""):
        return "merge" if " " in orig else "split"
    for name, f in RULES:
        if orig != corr and f(orig) == f(corr):
            return name
    both = lambda w: RULES[2][1](RULES[1][1](RULES[0][1](w)))
    if both(orig) == both(corr):
        return "mixed orthography"
    return "other"

def correct(text: str, model="broadnet/qwen3.8-27b", min_similarity=0.8) -> dict:
    r = client.chat.completions.create(
        model=model, temperature=0, max_tokens=2000,
        messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
    out = r.choices[0].message.content.strip()
    sim = difflib.SequenceMatcher(None, text, out, autojunk=False).ratio()
    if sim < min_similarity:             # a rewrite, not a correction: keep the original
        return {"text": text, "edits": [], "rejected": out, "similarity": round(sim, 2)}
    return {"text": out, "similarity": round(sim, 2),
            "edits": [{"from": o, "to": c, "class": error_class(o, c)} for _, _, c, o in edits(text, out)]}

用意した返答を返すローカルのモックサーバーで実行しました(モックは書いたとおりの内容を返すので、本番 API は呼んでいません)。ذهبت الى المدرسه و قابلت المعلمه في الصباح に対して ذهبت إلى المدرسة وقابلت المعلمة في الصباح という返答からは、4 つの修正が得られました。الى → إلى(ハムザ)、المدرسه → المدرسة(ター・マルブータ)、و قابلت → وقابلت(結合)、المعلمه → المعلمة(ター・マルブータ)です。مشي الي では、مشي → مشى(アリフ・マクスーラ)と الي → إلى(ハムザとアリフ・マクスーラを同時に直すので、混合表記)が挙がりました。الطقس جميل اليوم を 2 倍の長さの文にした返答は類似度 0.52 となり、コードは原文を残して返答を記録しました。

コードについての補足です。

  • **類似度ガードは大まかな道具です。**スペルミスの多い文は、正当な訂正でも 0.8 前後になることがあります。しきい値は自分のデータで調整し、却下した返答は捨てずに人に回してください。
  • max_tokens=2000 で推論の余地を残しています。BroadNet のドキュメントによると、DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は回答前に推論し、その推論は max_tokens に含まれます。reasoning_effort を low にすることもできます。推論モデルの空レスポンスを参照してください。
  • 分類ラベルはルールであって、構文解析器ではありません。「その他」には、文字の抜け(مسؤل → مسؤول)、一致、語の選択が含まれます。完全な分類体系が必要なら、同じペアに ARETA(後述)を実行してください。

どの誤りの種類を追跡すべきですか?

QALB の主催者は、最も多いアラビア語のスペルミスとして、ハムザ付きアリフと、アリフ・マクスーラとヤーの混同を挙げています。CAMeL Lab の誤り種別アノテーションツール ARETA(Belkebir と Habash、CoNLL 2021)は、Arabic Learner Corpus に基づくタグセットを使います。正書法のタグには OH(ハムザ)、OT(ハーとター・マルブータ)、OA(アリフとヤー)があり、ほかに形態、統語、意味、句読点、結合(MG)、分割(SP)のタグがあります。論文によると、人手でラベル付けした学習者テキストに対するマイクロ平均 F1 は 85.8% です。

種類 誤り 正しい形 何が起きるか
ハムザ انا، الى، مسأله أنا، إلى، مسألة ハムザが抜ける、台が違う、アリフの上下を誤る
ター・マルブータ المدرسه المدرسة 語末の ة を ه と書く、またはその逆
アリフ・マクスーラ مشي، علي(前置詞) مشى، على 語末の ى を ي と書く。علي は人名でもあるので文脈で判断
結合・分割 و قابلت، عبدالله وقابلت، عبد الله و や ال の前後のスペース、複合名
句読点 ، や ؟ の欠落 追加 QALB のアノテーター間で最も一致しなかったのが句読点

種類ごとの再現率を追跡してください。ター・マルブータは直せても前置詞の後のハムザを見逃すモデルに必要なのは、そのパターンの例であって、別のモデルではありません。

校正ツールはどう評価しますか?

文法誤り訂正は修正単位で評価します。原文を人手で訂正した正解文に変える修正と、原文をモデルの出力に変える修正を比べます。適合率はモデルの修正のうち正解と一致する割合、再現率は正解の修正のうちモデルが行った割合です。QALB は F1 を報告しましたが、Kwon らを含む後の研究は F0.5 も報告しています。F0.5 は適合率を再現率の 2 倍重視します。誤った「訂正」は、見逃しよりもユーザーを苛立たせるからです。

from collections import Counter

def score(sources, golds, hyps, beta=0.5):
    """Exact-match edit scoring: an edit counts only if span and replacement both match gold."""
    tp = fp = fn = 0
    by_class = Counter()
    for s, g, h in zip(sources, golds, hyps):
        G = {e[:3] for e in edits(s, g)}
        H = {e[:3] for e in edits(s, h)}
        tp += len(G & H); fp += len(H - G); fn += len(G - H)
        for e in edits(s, g):
            by_class[(error_class(e[3], e[2]), e[:3] in H)] += 1
    p = tp / (tp + fp) if tp + fp else 1.0
    r = tp / (tp + fn) if tp + fn else 1.0
    f = (1 + beta**2) * p * r / (beta**2 * p + r) if p + r else 0.0
    recall = {c: f"{by_class[(c, True)]}/{by_class[(c, True)] + by_class[(c, False)]}"
              for c in sorted({c for c, _ in by_class})}
    return {"P": round(p, 3), "R": round(r, 3), f"F{beta}": round(f, 3), "recall by class": recall}

正解の修正が 7 つある 2 文のおもちゃのセットで、出力が結合とター・マルブータ 1 つを見逃し、句点を 1 つ追加した場合、P 0.833、R 0.714、F0.5 0.806 と出力され、種類別の再現率はハムザ 2/2、ター・マルブータ 2/3、結合 0/1 でした。

これは M2 の考え方を簡略化したものです。公式の M2 scorer は、システムの修正を正解と最もよく一致するように対応付けるので、正しい訂正が正解と異なる単位に分かれていても減点されません。この完全一致はそれより厳しめです。公開されている数値と比べるときは公式の評価ツールを使ってください(開発版はいまだに Python 2 が必要です)。ERRANT も同じ修正抽出を行いますが、英語のみです。

正解セットは実際のユーザーテキスト 100〜200 文から作り、モデルに与えたのと同じ最小修正ルールで、1 人の注意深いアノテーターが訂正します。候補となる各モデルとプロンプトで実行し、F0.5 と種類別の再現率を比べます。この比較を公平に行う方法は、乗り換え前の LLM 評価方法で扱っています。

Tibyan や合成データはどうですか?

ラベル付きのアラビア語校正データは不足しています。Alrehili と Alhothali は、QALB-14 と QALB-15 を合わせても対訳例は約 20,500 件だと指摘しています。彼らの Tibyan コーパス(arXiv 2024 年、のちに PeerJ Computer Science に掲載)は、アラビア語のよくある誤りを解説した書籍をもとに ChatGPT で誤文と正文のペアを生成し、言語学者が確認したものです。約 600,000 トークンで、正書法、形態、統語、意味、句読点、結合、分割の 7 種類の誤りを含みます。著者はコーパスを公開しているとしていますが、ライセンスを確認できるダウンロードリンクは見つかりませんでした。フューショットの例やストレステストには役立ちますが、合成データなので受け入れテストには使わないでください。

LLM 以外のベースラインが必要なら、CAMeL Lab の arabic-gec リポジトリが Alhafni ら(EMNLP 2023)のコードとモデルを公開しています。スペルだけなら、ar-corrector パッケージが編集距離 1〜2 以内の辞書語を提案します。文法は扱わず、最後のリリースは 2021 年です。

BroadNet のどのモデルを使えばよいですか?

料金は BroadNet の料金ページに基づく 100 万トークンあたりの価格です。校正の出力は入力とほぼ同じ長さなので、出力料金が重要です。

モデル 理由 入力/出力
Qwen3.8 27B 推論がドキュメント化されている。BroadNet は湾岸・エジプト方言の理解を含むアラビア語のテストを報告 $0.175 / $2.17
GLM 5.3 推論がドキュメント化されている。文書全体を扱える長いコンテキスト $0.78 / $3.46
DeepSeek V4.1 Flash ここに挙げた推論モデルの中で出力料金が最も安い。定額のセッションプランもある $0.175 / $0.52
Gemma 4 VL 26B $5 の初回クレジットで使えるので、チャージ前にパイプラインを構築できる $0.10 / $0.22

各モデルで正解セットに評価スクリプトを実行し、F0.5 と料金で選んでください。アラビア語は通常、英語より 1 語あたりのトークンが多くなります。サンプルをアラビア語トークンカウンターに貼り付け、LLM API コスト計算ツールで料金を見積もってください。大きなアーカイブを校正する場合、BroadNet には Batch API がありません。Batch API なしでのバッチ処理で並列数を抑えた実行方法を紹介しています。1 週間 $15 の DeepSeek セッション(セッションごとに一度に 1 リクエスト)でも実行できます。

BroadNet Inference の位置づけ

BroadRouter は BroadNet 自身のサイトです。BroadNet Inference は上記のモデルを OpenAI 互換で提供しているので、ベース URL を変えれば、このコードは OpenAI Python SDK で動きます。校正用のエンドポイントはなく、独自のアラビア語校正ベンチマークも公開していないので、自分のテキストで測定してください。プライバシーステートメントでは推論の内容を保持しないとしており、顧客のメッセージを校正する場合には重要です。非常に大量の処理向けにセルフホストの校正ツールが必要なら、CAMeL Lab のようなファインチューニング済みモデルのほうが安く、安定するかもしれません。上記の公開スコアこそ、両方をテストすべき理由です。

よくある質問

ChatGPT などの LLM はアラビア語の文法を直せますか?

はい、ただし限界があります。QALB-2014 ベンチマークでの公開テストでは、例を 5 つ与えた GPT-4 が F1 65.49 に達し、ファインチューニングした AraT5v2 の 67.70 に迫りましたが、下回りました。最小限の修正を求めるプロンプトを使い、コードで返答を確認し、自分のテキストのサンプルで測定してください。

アラビア語で多いスペルミスは何ですか?

アリフ上のハムザ(أنا を انا、إلى を الى と書く)、アリフ・マクスーラをヤーで書く(مشى を مشي と書く)、ター・マルブータをハーで書く(المدرسة を المدرسه と書く)、そして وقابلت を و قابلت とするような単語の誤った分割・結合です。QALB の主催者は、ハムザ付きアリフとアリフ・マクスーラ/ヤーの混同が最も多いとしています。

アラビア語のテキスト正規化とスペル訂正は同じものですか?

いいえ。正規化は、検索や照合で区別しないように、أ と ا のような表記ゆれを意図的にまとめます。訂正は、文脈の中でどの表記が正しいかを判断します。訂正は原文に対して行い、正規化は検索用にインデックスするコピーだけに行ってください。

アラビア語の文法校正ツールはどう評価しますか?

実際の文 100〜200 個を、最小限の修正で人手で訂正します。原文から正解へ、原文からモデル出力への単語単位の修正をそれぞれ抽出し、一致した修正を数えて適合率、再現率、F0.5 を求めます。QALB で使われた M2 scorer は、より賢い修正の対応付けでこれを行います。

Python 用のアラビア語文法チェックライブラリはありますか?

スペルだけなら、ar-corrector が編集距離 1〜2 以内の辞書語を提案します。文法については、CAMeL Lab が研究用の GEC モデルとコード(arabic-gec)を公開しています。LLM API は最も手早く始められる方法で、大量処理ではファインチューニングしたモデルのほうが安定する場合があります。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く

出典