BroadRouter
开始使用

命名实体识别(NER)

更新于

命名实体识别(NER)是在文本中找出名称、并为每个名称标注类型(如人物、机构或地点)的任务。传统系统给每个 token 打标签;大模型则通常被要求以 JSON 返回实体列表,再与原文核对。

又称: 命名实体识别、实体识别、实体抽取、命名实体、信息抽取、NER、named entity recognition、entity extraction、named entities

从合同或新闻报道中找出每一个人物、公司和地点,并标明各自的类型。这就是 NER,也是交给大模型最常见的工作之一。

工作原理

经典基准是 CoNLL-2003 评测任务。它使用英文路透社新闻和德文《法兰克福评论报》文本,共四种类型(PER 表示人物,ORG、LOC,以及 MISC,即 “names of miscellaneous entities that do not belong to the previous three groups”(译文:不属于前三类的其他实体名称)),并采用 IOB 标签:每个词标为某类型的 B- 或 I-,或者标为 O,表示不属于任何实体。评分按实体计算 F1,只有与参考答案完全一致的实体才算对。

一个 IOB 格式的阿拉伯语示例:

Token 标签
زار O
خالد B-PER
العتيبي I-PER
مدينة O
الرياض B-LOC

(“哈立德·奥泰比访问了利雅得市。”)

阿拉伯语有自己的数据集。ANERcorp 由 Yassine Benajiba 创建,自 2008 年起就是标准参考,内容为新闻专线文本;CAMeL Lab 约定的划分包含 125,102 个训练词和 25,008 个测试词,采用 CC BY-SA 4.0 许可。Wojood(Jarrar 等,2022)有约 550K 个 MSA 和方言文本 token、21 种实体类型、约 75K 个实体,其中 22.5% 是嵌套实体。其基于 AraBERT 的模型取得了 0.884 的 micro F1。

用大模型时,常见的做法不同:要的是一个列表,而不是逐个 token 的标签。

{"entities": [
  {"text": "خالد العتيبي", "type": "PERSON"},
  {"text": "الرياض", "type": "LOCATION"}
]}

为什么重要

NER 为搜索过滤、CRM 记录、个人身份信息(PII)脱敏和知识图谱提供数据。用大模型做 NER,主要风险是:

  • 编造或改动实体。 模型可能返回原文中没有的名称,或者“纠正”其拼写。在两边都做阿拉伯语文本规范化之后,检查每个实体是否出现在原文中。这属于一种幻觉检查。
  • 标签漂移。 在 schema 中固定类型列表,这样模型就无法发明新类型。
  • 基准不等于你的数据。 公开数据集的标签很少与你的一致。人工标注一份样本,计算精确率、召回率和 F1,就像任何评测一样。

在 BroadNet Inference 上

BroadNet 没有 NER 端点;你需要基于 POST /v1/chat/completions 来实现。BroadNet 的 API 参考记录了 GLM 5.3 和 Qwen3.8 27B 的结构化输出,借此可以把模型约束在实体列表和固定的类型集合上。对于以图片形式提供的文档,Qwen3.8 27B 也支持图像输入。

BroadNet 没有公布其模型的 NER 基准结果。阿拉伯语命名实体抽取一文提供了提示词、忽略变音符号的片段检查、回历日期处理,以及可在你自己的样本上运行的评分脚本。

常见问题

NER 和实体抽取有什么区别?

在研究中,NER 通常指给每个 token 打标签。实体抽取则常指返回实体列表,大多数大模型流水线都是这样做的。按你实际上线的方式来评分。

模型返回的实体为什么和我的阿拉伯语原文对不上?

常见原因是模型在复制时改了 hamza、去掉了 tatweel 或加上了变音符号。先对实体和原文都做规范化,再检查实体是否出现在原文中。

什么是嵌套 NER?

实体内部还包含其他实体,比如机构名中含有城市名。Wojood 标注了这类实体,其中 22.5% 的实体是嵌套的。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity