BroadRouter
始める

固有表現抽出(NER、named entity recognition)

更新日

固有表現抽出(NER)とは、テキスト中の名前を見つけ、人物、組織、場所などの種類をそれぞれにラベル付けするタスクです。従来のシステムはすべてのトークンにタグを付けますが、LLM ではエンティティの一覧を JSON で返させ、原文と照合するのが一般的です。

別名: 固有表現抽出、固有表現認識、固有表現、エンティティ抽出、情報抽出、NER、named entity recognition、entity extraction、named entities

契約書やニュース記事から人物、企業、場所をすべて取り出し、それぞれに種類を付ける。これが NER で、LLM に任される仕事の中でも特によくあるものです。

仕組み

古典的なベンチマークは CoNLL-2003 共通タスクです。英語の Reuters ニュースとドイツ語の Frankfurter Rundschau のテキストを使い、4 つの種類(人物の PER、ORG、LOC、そして “names of miscellaneous entities that do not belong to the previous three groups”(訳:前の 3 つのグループに属さないその他のエンティティの名前)を表す MISC)と IOB タグを用いました。各単語は種類ごとの B- か I-、またはエンティティ外を表す O になります。評価はエンティティ単位の F1 で、参照と完全に一致した場合のみ正解とみなされます。

IOB 形式のアラビア語の例です。

トークン タグ
زار O
خالد B-PER
العتيبي I-PER
مدينة O
الرياض B-LOC

(「ハーリド・アル=オタイビーはリヤドの街を訪れた。」)

アラビア語には独自のデータセットがあります。ANERcorp は Yassine Benajiba が作成し、2008 年から標準的な参照とされてきたニュース配信テキストのコーパスで、CAMeL Lab が合意した分割では学習用 125,102 語、テスト用 25,008 語、ライセンスは CC BY-SA 4.0 です。Wojood(Jarrar ほか、2022)は MSA と方言のテキスト約 550K トークン、21 種類のエンティティ、約 75K のエンティティを含み、その 22.5% がネストしています。AraBERT ベースのモデルは micro F1 で 0.884 を記録しました。

LLM では一般的な形が異なり、トークンごとのタグではなく一覧を求めます。

{"entities": [
  {"text": "خالد العتيبي", "type": "PERSON"},
  {"text": "الرياض", "type": "LOCATION"}
]}

なぜ重要か

NER は検索フィルター、CRM のレコード、PII のマスキング、ナレッジグラフに使われます。LLM で行う場合の主なリスクは次のとおりです。

  • エンティティの捏造や改変。 モデルはテキストにない名前を返したり、綴りを「修正」したりすることがあります。両側にアラビア語テキストの正規化を行ったうえで、すべてのエンティティが原文に出現するか確認してください。これはハルシネーションチェックの一種です。
  • ラベルのずれ。 種類の一覧をスキーマで固定し、モデルが新しい種類を作れないようにします。
  • ベンチマークは自社のデータではない。 公開データのラベルが自社のものと一致することはまれです。サンプルに手でラベルを付け、適合率、再現率、F1 を算出してください。どの評価でも同じです。

BroadNet Inference の場合

BroadNet に NER エンドポイントはなく、POST /v1/chat/completions の上に構築します。BroadNet の API リファレンスは GLM 5.3 と Qwen3.8 27B の構造化出力を記載しており、これを使ってモデルをエンティティの一覧と決まった種類のセットに従わせます。画像で届く文書については、Qwen3.8 27B が画像入力にも対応しています。

BroadNet は自社モデルの NER ベンチマークを公開していません。記事「アラビア語の固有表現抽出」には、プロンプト、母音記号を無視するスパンチェック、ヒジュラ暦の日付の扱い、自分のサンプルで実行できる評価スクリプトがあります。

よくある質問

NER とエンティティ抽出の違いは何ですか?

研究での NER は、通常すべてのトークンにラベルを付けることを指します。エンティティ抽出はエンティティの一覧を返すことを指す場合が多く、ほとんどの LLM パイプラインはこの形です。実際にリリースする形で評価してください。

モデルが返したエンティティがアラビア語の原文と一致しないのはなぜですか?

よくある原因は、モデルがコピーの際にハムザを変えたり、タトウィールを取り除いたり、母音記号を加えたりすることです。出現を確認する前に、エンティティと原文の両方を正規化してください。

ネストした NER とは何ですか?

組織名の中の都市名のように、エンティティの中に別のエンティティがあるものです。Wojood はこれをアノテーションしており、エンティティの 22.5% がネストしています。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く