Вытащить из договора или новостной заметки всех людей, компании и места, указав тип каждого. Это и есть NER — одна из самых частых задач, которые поручают LLM.
Как это работает
Классический бенчмарк — общее соревнование CoNLL-2003. В нём использовались английские новости Reuters и немецкие тексты Frankfurter Rundschau, четыре типа (PER для персон, ORG, LOC и MISC для “names of miscellaneous entities that do not belong to the previous three groups” (перевод: «названий прочих сущностей, не относящихся к трём предыдущим группам»)) и теги IOB: каждое слово помечается как B- или I- с типом либо как O, то есть вне сущности. Оценка — F1 по сущностям, причём сущность засчитывается, только если она в точности совпадает с эталоном.
Арабский пример в формате IOB:
| Токен | Тег |
|---|---|
| زار | O |
| خالد | B-PER |
| العتيبي | I-PER |
| مدينة | O |
| الرياض | B-LOC |
(«Халид аль-Утейби посетил город Эр-Рияд».)
Для арабского есть свои датасеты. ANERcorp, созданный Ясином Бенаджибой и служащий стандартным эталоном с 2008 года, состоит из новостных текстов; в согласованном разбиении CAMeL Lab 125 102 слова для обучения и 25 008 слов для теста по лицензии CC BY-SA 4.0. В Wojood (Jarrar et al., 2022) около 550 тыс. токенов текста на MSA и диалектах, 21 тип сущностей и около 75 тыс. сущностей, из них 22,5 % вложенные. Его модель на основе AraBERT показала micro F1 0,884.
С LLM задачу обычно ставят иначе: просят список, а не тег для каждого токена.
{"entities": [
{"text": "خالد العتيبي", "type": "PERSON"},
{"text": "الرياض", "type": "LOCATION"}
]}
Почему это важно
NER питает фильтры поиска, записи в CRM, маскирование персональных данных (PII) и графы знаний. При работе с LLM главные риски такие:
- Выдуманные или изменённые сущности. Модель может вернуть имя, которого нет в тексте, или «исправить» его написание. Проверяйте, что каждая сущность есть в источнике, после нормализации арабского текста с обеих сторон. Это разновидность проверки на галлюцинации.
- Дрейф меток. Зафиксируйте список типов в схеме, чтобы модель не могла придумать новый тип.
- Бенчмарки — не ваши данные. Публичная разметка редко совпадает с вашей. Разметите выборку вручную и посчитайте точность, полноту и F1, как в любом эвале.
В BroadNet Inference
У BroadNet нет эндпоинта для NER; его строят на POST /v1/chat/completions. Справочник API BroadNet документирует структурированный вывод для GLM 5.3 и Qwen3.8 27B — так вы удерживаете модель в рамках списка сущностей и фиксированного набора типов. Для документов, которые приходят изображениями, Qwen3.8 27B также принимает изображения на вход.
BroadNet не публикует NER-бенчмарков для своих моделей. В статье об извлечении арабских именованных сущностей есть промпт, проверки фрагментов без учёта огласовок, обработка дат по хиджре и скрипт оценки, который можно запустить на своей выборке.