BroadRouter

LLM によるアラビア語の固有表現抽出:JSON、日付、チェック

BroadNet Inference チーム · 約 7 分で読めます · 公開日

エンティティを書かれたとおりに写し、固定リストの型とともに JSON で返させます。コードでは、ダイアクリティカルマークを除去し alef を統一したうえで、各エンティティが原文にあるか確認します。ヒジュラ暦の日付は hijridate などのライブラリで変換し、人手ラベルのサンプルでエンティティ単位の適合率、再現率、F1 を測ります。

固有表現抽出は、段落をコードで使えるレコードに変えます。誰が、どの組織が、どこで、いつ、です。アラビア語には、英語のパイプラインではまず出会わない 4 つの問題があります。任意のダイアクリティカルマーク、同じ文字の複数の綴り、ラテン文字で書かれた名前(Arabizi)、そして 2 つの暦による日付です。この記事では、OpenAI 互換の LLM 上に、それぞれをコードで処理する抽出ステップを作り、自社のテキストで機能するかを判断するための採点スクリプトも用意します。

メッセージからスパンを抜き出すのではなくメッセージ全体を分類する場合は、アラビア語テキスト分類を参照してください。JSON のリクエストオプション自体については、JSON モードと json_schema の比較を参照してください。

LLM のアラビア語 NER の性能はどの程度ですか?

見つかった中で最も関連性の高い公開測定は LAraBench(Abdelali ほか、EACL 2024)で、アラビア語 NER データセットで GPT-3.5 と GPT-4 をトークン単位のタグ付けとして評価しています。macro-F1 で、高いほど良い値です。

データセット GPT-3.5 ゼロショット GPT-4 ゼロショット GPT-4 3-shot 引用されたファインチューニング済みシステム
ANERcorp(ニュース) 0.210 0.355 0.420 0.886
AQMAR(Wikipedia) 0.230 0.365 0.390 0.690
QASR(書き起こし) 0.208 0.504 n/a 0.698

例を増やすと改善しました。ANERcorp での GPT-4 は、例なしの 0.355 から 10 例で 0.451 に上がりました。著者は、モデルが独自の形式で書いたタグ(B-PER の代わりの PER-B など)を対応付け直す必要もありました。

慎重に読んでください。これは 2023 年のモデルが、ベンチマークのラベルセットで厳密なタグ付けタスクを行った結果です。現在のモデルにサポートチケット中の人名と会社名の短いリストを求めれば、はるかに良い結果になるかもしれませんし、ならないかもしれません。この表から今でも言えることは 2 つです。LLM は自動的に良い NER システムになるわけではないこと、そして自社での測定が必要なことです。

どんなアラビア語 NER データセットがありますか?

データセット テキスト 規模とラベル
ANERcorp ニュース 約 150,000 トークン。人名、地名、組織、その他。CAMeL Lab が標準の訓練/テスト分割を公開
CLEANANERCorp 修正版 ANERcorp 元のデータで見つかったアノテーションの誤り、欠落ラベル、不整合を修正
AQMAR アラビア語 Wikipedia 28 記事から 74,000 トークン
Wojood MSA と方言 約 550,000 トークン、21 種類のエンティティ、入れ子構造。WojoodNER 2023 共有タスクで使用
CANERCorpus 古典アラビア語のハディース 7,000 以上のハディース、イスラム関連の 20 種類

これらはプロンプトの妥当性確認に使い、受け入れテストにはしないでください。自社のエンティティ型(顧客、製品、支店、契約番号)はこれらと異なり、ライセンスもそれぞれ違います。商用利用の前に 1 つずつ確認してください。

プロンプトでは何を求めるべきですか?

出力を検証可能にするルールは 3 つです。

  1. **スパンを正確に写す。**翻訳しない、音訳しない、名だけをフルネームに「補完」しない。英語の綴りが必要なら別のフィールドで求め、未検証として扱います。
  2. **閉じた型リスト。**PERSON、ORG、LOCATION、DATE、または自社独自のセット。自由形式の型は採点できません。
  3. **日付は変換結果ではなく構成要素で。**年、月、日を書かれたとおりに、暦と一緒に求めます。末尾の هـ はヒジュラ暦、م は西暦を示します。

指示は英語でもアラビア語でもかまいません。その得失はアラビア語のプロンプトエンジニアリングで扱っています。JSON の形はシステムプロンプトに入れ、リクエスト間で同一に保てばキャッシュされます。

エンティティを原文とどう照合しますか?

モデルは、本文に一度も出てこない名前を返すこともあれば、名前を正しく写してもダイアクリティカルマークを落とすこともあります。単純な部分文字列テストでは、この 2 つを区別できません。先に両方を正規化してください。tashkeel と tatweel を除去し、alef の字形を統一し、عبد ال を連結して عبد الله が عبدالله と一致するようにします。ルールは検索のためのアラビア語テキスト正規化と同じで、照合にだけ適用します。表示用には元のスパンを残してください。

import json, os, re
from hijridate import Hijri
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

TYPES = {"PERSON", "ORG", "LOCATION", "DATE"}
SYSTEM = """Extract named entities from the Arabic text. Reply with JSON only:
{"entities": [{"text": "...", "type": "PERSON|ORG|LOCATION|DATE"}],
 "dates": [{"text": "...", "calendar": "hijri|gregorian", "year": 0, "month": 0, "day": 0}]}
Rules: copy "text" exactly as it appears in the input, including any diacritics.
Do not translate, transliterate or complete names. A date followed by هـ is Hijri.
If there are no entities, return empty lists."""

DIACRITICS = re.compile(r"[ً-ٰٟـ]")   # tashkeel, dagger alef, tatweel
def norm(s: str) -> str:
    s = DIACRITICS.sub("", s)
    s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي").replace("عبد ال", "عبدال")
    return " ".join(s.split())

def validate(source: str, data: dict) -> tuple[list, list]:
    """Keep entities that really occur in the source; report everything else."""
    src, kept, problems = norm(source), [], []
    for e in data.get("entities", []):
        if e.get("type") not in TYPES:
            problems.append(f"unknown type: {e}")
        elif norm(e.get("text", "")) not in src:
            problems.append(f"not in source: {e['text']}")
        else:
            kept.append(e)
    for d in data.get("dates", []):
        if d.get("calendar") == "hijri":
            try:
                d["iso"] = Hijri(d["year"], d["month"], d["day"]).to_gregorian().isoformat()
            except (ValueError, OverflowError) as err:
                problems.append(f"bad Hijri date {d['text']}: {err}")
    return kept, problems

def extract(text: str, model="broadnet/qwen3.8-27b") -> dict:
    r = client.chat.completions.create(
        model=model, max_tokens=2000,
        messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
    data = json.loads(r.choices[0].message.content)
    data["entities"], data["problems"] = validate(text, data)
    return data

text = "التقى خالِد بن سَعِيد مديرةَ شركة النخيل للتقنية في جدة يوم ١٥ جمادى الآخرة ١٤٤٥هـ."
print(json.dumps(extract(text), ensure_ascii=False, indent=1))

これを、架空の人名 1 つとあり得ない日付(13 月)を加えた定型の返答を返すローカルのモックサーバー(実際の API 呼び出しなし)で実行しました。出力には خالد بن سعيد(返答ではダイアクリティカルマークが落ちていましたが、正規化した照合で見つかりました)、شركة النخيل للتقنية、جدة が残りました。١٥ جمادى الآخرة ١٤٤٥هـ は 2023-12-28 に変換され、2 つの問題が列挙されました。架空の名前は「not in source」、13 月は「month must be in 1-12」です。人名と会社名は架空のものです。

コードについての補足です。

  • max_tokens=2000 は推論の余地を残すためです。BroadNet のドキュメントによると、DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は回答の前に推論し、その推論は max_tokens に含まれます。推論モデルの空の応答を参照してください。
  • **json.loads は失敗することがあります。**ラップしておき、失敗したら修復ループのようにエラーを添えて 1 回再送します。BroadNet が構造化出力に対応すると記載している GLM 5.3 と Qwen3.8 27B では、response_format のスキーマも追加してください。いずれにしても検証は残します。
  • **部分文字列の照合は意図的に緩くしています。**スパンが存在することは確認しますが、型は確認しません。型は次の採点ステップで測ります。

ヒジュラ暦の日付はどう扱いますか?

アラビア語のテキストでは、日付がさまざまに書かれます。١٥/٦/١٤٤٥هـ、١٥ جمادى الآخرة ١٤٤٥、あるいは地域によって月名が異なる西暦の日付(エジプトと湾岸では نوفمبر、レバント地方では تشرين الثاني)です。モデルは通常これらを構成要素に分解でき、コードがその要素をチェックします。暦の間の変換は公開された表に基づく計算であり、モデルがそれを正しく行う理由はありません。

hijridate(旧 hijri-converter)は Umm al-Qura 暦で変換します。ドキュメントに記載された範囲はヒジュラ暦 1343〜1500 年(西暦 1924 年 8 月 1 日〜2077 年 11 月 16 日)です。範囲外では OverflowError、無効な月や日では ValueError が発生するため、コードでは両方を捕捉しています。ドキュメントには、新月の目視が優先される宗教的な用途は想定していないとあるため、目視で決まる日付は変換値と異なることがあります。書かれたとおりの日付を、変換後の日付と並べて保存してください。

ここでは東アラビア数字に特別な処理は不要です。モデルは整数を返します。日付を自分で解析する場合は、先に ٠١٢٣٤٥٦٧٨٩(とペルシア数字 ۰–۹)を 0–9 に変換してください。

Arabizi や混在テキスト中の名前はどうしますか?

顧客のメッセージでは、名前がラテン文字で書かれることがよくあります。「ana 7a2ool la Mo7ammad bokra」。正確なスパンのルールはそのまま機能します。エンティティのテキストは「Mo7ammad」で、部分文字列チェックも通ります。うまくいかないのは、そのレコードを CRM の محمد と照合する部分です。それは 2 つ目のステップで行います。Arabizi の扱い方のようにスパンをアラビア文字に変換し、同じ正規化でレコードと照合します。変換を経たレコードには信頼度フラグを付けておいてください。

アラビア語の文中にある英語の会社名や、アラビア語の名前のラテン文字表記(Mohammed、Muhammad、Mohamed)にも同じことが言えます。抽出ステップに綴りを 1 つ選ばせないでください。

抽出器はどう採点しますか?

同じ型リストを使って、実際のサンプル 100〜200 件に人手でラベルを付けます。そのうえで、正規化したテキストと型についてエンティティ単位の完全一致で予測を比較し、型ごとに適合率、再現率、F1 を報告します。

from collections import Counter

def score(gold: list[list[dict]], pred: list[list[dict]]) -> dict:
    """Entity-level exact match on (normalised text, type), micro-averaged, plus per type."""
    tp, fp, fn = Counter(), Counter(), Counter()
    for g, p in zip(gold, pred):
        G = Counter((norm(e["text"]), e["type"]) for e in g)
        P = Counter((norm(e["text"]), e["type"]) for e in p)
        for (t, ty), n in (G | P).items():
            hit = min(G[(t, ty)], P[(t, ty)])
            tp[ty] += hit; fp[ty] += P[(t, ty)] - hit; fn[ty] += G[(t, ty)] - hit
    def prf(a, b, c):
        p = a / (a + b) if a + b else 0.0
        r = a / (a + c) if a + c else 0.0
        return {"p": round(p, 3), "r": round(r, 3), "f1": round(2 * p * r / (p + r), 3) if p + r else 0.0}
    out = {ty: prf(tp[ty], fp[ty], fn[ty]) for ty in sorted(tp | fp | fn)}
    out["micro"] = prf(sum(tp.values()), sum(fp.values()), sum(fn.values()))
    return out

2 文のおもちゃのセット(正解エンティティ 3 つ。予測では جدة を LOCATION ではなく ORG とし、余分な地名を 1 つ追加)では、micro の適合率 0.5、再現率 0.667、F1 0.571、LOCATION の F1 0 が出力されました。型ごとに見ると、どこに力を入れるべきかがわかります。ORG のスコアが低い場合、通常必要なのは大きなモデルではなく、型の定義への例の追加です。

何を一致とみなすかは事前に決めておいてください。完全一致は厳格です。正解が「شركة النخيل للتقنية」のところ「شركة النخيل」と予測すると、偽陽性 1 件と偽陰性 1 件として採点されます。用途上、部分的なスパンでも許容できるなら、重なりに基づく 2 つ目のスコアも報告しつつ、見出しの数値には厳格なスコアを使ってください。

BroadNet のどのモデルを使うべきですか?

価格はすべて 100 万トークンあたりで、BroadNet の料金ページに基づきます。

モデル 理由 入力 / 出力
Qwen3.8 27B 構造化出力の記載あり。BroadNet は湾岸・エジプト方言の理解を含むアラビア語でテストしたと報告。画像も読める $0.175 / $2.17
GLM 5.3 構造化出力の記載あり。非常に長い文書向けの 1,048,576 トークンのコンテキスト $0.78 / $3.46
Gemma 4 VL 26B $5 の初回クレジットで使える。構造化出力の記載がないため、プロンプトだけで得た JSON を検証する。32,768 トークンのコンテキスト $0.10 / $0.22

各候補で自社のサンプルに採点スクリプトを実行し、ベンダーの説明ではなく型ごとの F1 とコストで選んでください。アラビア語は同じ内容でも通常英語より多くのトークンを使います。実測の比率はアラビア語の 1 語あたりのトークン数にあります。スキャンしたフォームや写真の中のエンティティは、Vision でアラビア語の請求書を読むのように画像から直接抽出してください。

BroadNet Inference の位置づけ

BroadRouter は BroadNet 自身のサイトです。BroadNet Inference では、1 つのキーで上記のモデルに OpenAI 互換でアクセスできるため、ベース URL を変えるだけでコードが OpenAI Python SDK で動きます。ドキュメントによると、プロンプトと回答はリクエスト後に保持されません。テキストが人名だらけの場合、これは重要です。専用の NER エンドポイントはなく、独自のアラビア語 NER ベンチマークも公開していないため、自社のデータで測定してください。大量処理のためにセルフホストのタガーが必要なら、Wojood や自社のラベルで学習したファインチューニング済みモデルのほうが、どの LLM よりも安く一貫している可能性があります。上で示した公開データの差が、それを確かめるべき理由です。

よくある質問

LLM でアラビア語の固有表現認識はできますか?

チェックを入れればできます。トークン単位のアラビア語 NER で公開されているゼロショットの結果は、ファインチューニング済みモデルに大きく劣ります。すべてのエンティティを原文と照合し、本番で頼る前に、自社データのラベル付きサンプルでモデルを採点してください。

ダイアクリティカルマークの有無が違うアラビア語の名前はどう照合しますか?

比較の前に両方を正規化します。tashkeel(U+064B〜U+065F)、短剣 alef、tatweel を除去し、إ أ آ ٱ を ا に、ى を ي に変換して、空白をまとめます。表示には元のテキストを残し、正規化した形は照合にだけ使います。

Python でヒジュラ暦の日付を西暦に変換するには?

hijridate(旧 hijri-converter)を使います。Hijri(1445, 6, 15).to_gregorian() は 2023-12-28 を返します。Umm al-Qura 暦に従い、ヒジュラ暦 1343〜1500 年に対応しています。新月の目視で決める宗教上の日付には向いていません。

テストに使えるアラビア語 NER データセットは?

ANERcorp(ニュース、約 150,000 トークン、4 種類)、AQMAR(Wikipedia の 74,000 トークン)、Wojood(MSA と方言の約 550,000 トークン、入れ子の 21 種類)、CANERCorpus(古典アラビア語のハディース、20 種類)です。それぞれのライセンスを確認し、ラベルを自社のものに対応付けてください。

モデルに名前を翻訳または音訳させるべきですか?

抽出のステップではさせません。検証できるよう、原文のスパンそのものを求めてください。ラテン文字の綴りが必要なら別のフィールドを加え、未検証のものとして扱ってください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く