BroadRouter
Начать

Распознавание именованных сущностей (NER)

Обновлено

Распознавание именованных сущностей (NER) — это задача найти в тексте имена и присвоить каждому тип, например «персона», «организация» или «место». Классические системы размечают каждый токен; у LLM вместо этого обычно просят вернуть список сущностей в JSON, который затем сверяют с исходным текстом.

Также называют: NER, извлечение сущностей, извлечение именованных сущностей, именованные сущности, распознавание сущностей, named entity recognition, entity extraction, named entities

Вытащить из договора или новостной заметки всех людей, компании и места, указав тип каждого. Это и есть NER — одна из самых частых задач, которые поручают LLM.

Как это работает

Классический бенчмарк — общее соревнование CoNLL-2003. В нём использовались английские новости Reuters и немецкие тексты Frankfurter Rundschau, четыре типа (PER для персон, ORG, LOC и MISC для “names of miscellaneous entities that do not belong to the previous three groups” (перевод: «названий прочих сущностей, не относящихся к трём предыдущим группам»)) и теги IOB: каждое слово помечается как B- или I- с типом либо как O, то есть вне сущности. Оценка — F1 по сущностям, причём сущность засчитывается, только если она в точности совпадает с эталоном.

Арабский пример в формате IOB:

Токен Тег
زار O
خالد B-PER
العتيبي I-PER
مدينة O
الرياض B-LOC

(«Халид аль-Утейби посетил город Эр-Рияд».)

Для арабского есть свои датасеты. ANERcorp, созданный Ясином Бенаджибой и служащий стандартным эталоном с 2008 года, состоит из новостных текстов; в согласованном разбиении CAMeL Lab 125 102 слова для обучения и 25 008 слов для теста по лицензии CC BY-SA 4.0. В Wojood (Jarrar et al., 2022) около 550 тыс. токенов текста на MSA и диалектах, 21 тип сущностей и около 75 тыс. сущностей, из них 22,5 % вложенные. Его модель на основе AraBERT показала micro F1 0,884.

С LLM задачу обычно ставят иначе: просят список, а не тег для каждого токена.

{"entities": [
  {"text": "خالد العتيبي", "type": "PERSON"},
  {"text": "الرياض", "type": "LOCATION"}
]}

Почему это важно

NER питает фильтры поиска, записи в CRM, маскирование персональных данных (PII) и графы знаний. При работе с LLM главные риски такие:

  • Выдуманные или изменённые сущности. Модель может вернуть имя, которого нет в тексте, или «исправить» его написание. Проверяйте, что каждая сущность есть в источнике, после нормализации арабского текста с обеих сторон. Это разновидность проверки на галлюцинации.
  • Дрейф меток. Зафиксируйте список типов в схеме, чтобы модель не могла придумать новый тип.
  • Бенчмарки — не ваши данные. Публичная разметка редко совпадает с вашей. Разметите выборку вручную и посчитайте точность, полноту и F1, как в любом эвале.

В BroadNet Inference

У BroadNet нет эндпоинта для NER; его строят на POST /v1/chat/completions. Справочник API BroadNet документирует структурированный вывод для GLM 5.3 и Qwen3.8 27B — так вы удерживаете модель в рамках списка сущностей и фиксированного набора типов. Для документов, которые приходят изображениями, Qwen3.8 27B также принимает изображения на вход.

BroadNet не публикует NER-бенчмарков для своих моделей. В статье об извлечении арабских именованных сущностей есть промпт, проверки фрагментов без учёта огласовок, обработка дат по хиджре и скрипт оценки, который можно запустить на своей выборке.

Вопросы и ответы

Чем NER отличается от извлечения сущностей?

В исследованиях под NER обычно понимают разметку каждого токена меткой. Извлечение сущностей чаще означает возврат списка сущностей — так задачу ставит большинство LLM-пайплайнов. Оценивайте ту постановку, которую реально выпускаете в продакшен.

Почему сущность, которую вернула модель, не совпадает с моим арабским текстом?

Часто модель при копировании изменила хамзу, убрала татвиль или добавила огласовки. Нормализуйте и сущность, и исходный текст, прежде чем проверять, что она там есть.

Что такое вложенный NER?

Это сущности внутри других сущностей, например город внутри названия организации. В Wojood такие сущности размечены; вложенными там являются 22,5 % сущностей.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity