BroadRouter
Começar

Reconhecimento de entidades nomeadas (NER)

Atualizado em

Reconhecimento de entidades nomeadas (NER) é a tarefa de encontrar nomes em um texto e rotular cada um com um tipo, como pessoa, organização ou local. Sistemas clássicos rotulam cada token; já aos LLMs costuma-se pedir uma lista de entidades em JSON, que depois é conferida contra o texto original.

Também chamado de: reconhecimento de entidades nomeadas, extração de entidades, entidades nomeadas, NER, named entity recognition, entity extraction, named entities

Tirar todas as pessoas, empresas e lugares de um contrato ou de uma notícia, com um tipo para cada um: isso é NER, e é um dos trabalhos mais comuns dados a um LLM.

Como funciona

O benchmark clássico é a shared task CoNLL-2003. Ela usou notícias da Reuters em inglês e textos em alemão do Frankfurter Rundschau, quatro tipos (PER para pessoas, ORG, LOC e MISC para “names of miscellaneous entities that do not belong to the previous three groups”, tradução: nomes de entidades diversas que não pertencem aos três grupos anteriores) e tags IOB: cada palavra é B- ou I- de um tipo, ou O para fora. A avaliação é o F1 sobre entidades, e uma entidade só conta se bater exatamente com a referência.

Um exemplo em árabe no formato IOB:

Token Tag
زار O
خالد B-PER
العتيبي I-PER
مدينة O
الرياض B-LOC

(“Khalid Al-Otaibi visitou a cidade de Riad.”)

O árabe tem datasets próprios. O ANERcorp, criado por Yassine Benajiba e referência padrão desde 2008, é texto de agências de notícias; a divisão acordada do CAMeL Lab tem 125.102 palavras de treino e 25.008 de teste, sob CC BY-SA 4.0. O Wojood (Jarrar et al., 2022) tem cerca de 550 mil tokens de texto em MSA e em dialeto, 21 tipos de entidade e cerca de 75 mil entidades, 22,5% delas aninhadas. O modelo dele baseado em AraBERT alcançou 0,884 de micro F1.

Com um LLM, o enquadramento comum é outro: pedir uma lista, e não uma tag por token.

{"entities": [
  {"text": "خالد العتيبي", "type": "PERSON"},
  {"text": "الرياض", "type": "LOCATION"}
]}

Por que importa

A NER alimenta filtros de busca, registros de CRM, a anonimização de PII e grafos de conhecimento. Com um LLM, os principais riscos são:

  • Entidades inventadas ou editadas. Um modelo pode devolver um nome que não está no texto, ou “corrigir” a grafia dele. Confira se cada entidade aparece no texto original, depois de aplicar a normalização de texto em árabe dos dois lados. É uma forma de checagem de alucinação.
  • Deriva de rótulos. Fixe a lista de tipos em um schema, para que o modelo não invente um tipo novo.
  • Benchmarks não são os seus dados. Rótulos públicos raramente batem com os seus. Rotule uma amostra à mão e meça precisão, recall e F1, como em qualquer eval.

Na BroadNet Inference

A BroadNet não tem endpoint de NER; você constrói em cima de POST /v1/chat/completions. A referência da API da BroadNet documenta saída estruturada para o GLM 5.3 e o Qwen3.8 27B, que é como você prende o modelo a uma lista de entidades e a um conjunto fixo de tipos. Para documentos que chegam como imagens, o Qwen3.8 27B também aceita entrada de imagem.

A BroadNet não publica benchmark de NER para os modelos dela. O post sobre extração de entidades nomeadas em árabe traz um prompt, checagens de trechos que ignoram diacríticos, o tratamento de datas do calendário hijri e um script de avaliação para rodar na sua própria amostra.

Perguntas frequentes

Qual a diferença entre NER e extração de entidades?

Na pesquisa, NER costuma significar rotular cada token. Extração de entidades costuma significar devolver uma lista de entidades, que é como a maioria dos pipelines com LLM enquadra a tarefa. Avalie o formato que você realmente coloca em produção.

Por que uma entidade que o modelo devolveu não bate com o meu texto em árabe?

Muitas vezes o modelo, ao copiar, mudou uma hamza, removeu o tatweel ou acrescentou diacríticos. Normalize a entidade e o texto original antes de conferir se ela aparece.

O que é NER aninhada?

Entidades dentro de outras entidades, como uma cidade dentro do nome de uma organização. O Wojood anota esses casos; 22,5% das entidades dele são aninhadas.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity