契約書やニュース記事から人物、企業、場所をすべて取り出し、それぞれに種類を付ける。これが NER で、LLM に任される仕事の中でも特によくあるものです。
仕組み
古典的なベンチマークは CoNLL-2003 共通タスクです。英語の Reuters ニュースとドイツ語の Frankfurter Rundschau のテキストを使い、4 つの種類(人物の PER、ORG、LOC、そして “names of miscellaneous entities that do not belong to the previous three groups”(訳:前の 3 つのグループに属さないその他のエンティティの名前)を表す MISC)と IOB タグを用いました。各単語は種類ごとの B- か I-、またはエンティティ外を表す O になります。評価はエンティティ単位の F1 で、参照と完全に一致した場合のみ正解とみなされます。
IOB 形式のアラビア語の例です。
| トークン | タグ |
|---|---|
| زار | O |
| خالد | B-PER |
| العتيبي | I-PER |
| مدينة | O |
| الرياض | B-LOC |
(「ハーリド・アル=オタイビーはリヤドの街を訪れた。」)
アラビア語には独自のデータセットがあります。ANERcorp は Yassine Benajiba が作成し、2008 年から標準的な参照とされてきたニュース配信テキストのコーパスで、CAMeL Lab が合意した分割では学習用 125,102 語、テスト用 25,008 語、ライセンスは CC BY-SA 4.0 です。Wojood(Jarrar ほか、2022)は MSA と方言のテキスト約 550K トークン、21 種類のエンティティ、約 75K のエンティティを含み、その 22.5% がネストしています。AraBERT ベースのモデルは micro F1 で 0.884 を記録しました。
LLM では一般的な形が異なり、トークンごとのタグではなく一覧を求めます。
{"entities": [
{"text": "خالد العتيبي", "type": "PERSON"},
{"text": "الرياض", "type": "LOCATION"}
]}
なぜ重要か
NER は検索フィルター、CRM のレコード、PII のマスキング、ナレッジグラフに使われます。LLM で行う場合の主なリスクは次のとおりです。
- エンティティの捏造や改変。 モデルはテキストにない名前を返したり、綴りを「修正」したりすることがあります。両側にアラビア語テキストの正規化を行ったうえで、すべてのエンティティが原文に出現するか確認してください。これはハルシネーションチェックの一種です。
- ラベルのずれ。 種類の一覧をスキーマで固定し、モデルが新しい種類を作れないようにします。
- ベンチマークは自社のデータではない。 公開データのラベルが自社のものと一致することはまれです。サンプルに手でラベルを付け、適合率、再現率、F1 を算出してください。どの評価でも同じです。
BroadNet Inference の場合
BroadNet に NER エンドポイントはなく、POST /v1/chat/completions の上に構築します。BroadNet の API リファレンスは GLM 5.3 と Qwen3.8 27B の構造化出力を記載しており、これを使ってモデルをエンティティの一覧と決まった種類のセットに従わせます。画像で届く文書については、Qwen3.8 27B が画像入力にも対応しています。
BroadNet は自社モデルの NER ベンチマークを公開していません。記事「アラビア語の固有表現抽出」には、プロンプト、母音記号を無視するスパンチェック、ヒジュラ暦の日付の扱い、自分のサンプルで実行できる評価スクリプトがあります。