BroadRouter

Named entity recognition (NER)

Na-update

Ang named entity recognition (NER) ay ang task ng paghahanap ng mga pangalan sa text at paglalagay ng uri sa bawat isa, gaya ng tao, organisasyon o lokasyon. Tina-tag ng mga klasikong system ang bawat token; sa mga LLM naman, madalas hinihingi ang listahan ng entities bilang JSON, na sinusuri pagkatapos laban sa source.

Tinatawag ding: NER, named entity recognition, entity extraction, named entities, pagkuha ng entity

Kunin ang bawat tao, kumpanya at lugar sa isang kontrata o balita, na may uri para sa bawat isa. Iyan ang NER, at isa ito sa mga pinakakaraniwang trabahong ibinibigay sa isang LLM.

Paano ito gumagana

Ang klasikong benchmark ay ang CoNLL-2003 shared task. Gumamit ito ng English na balita ng Reuters at German na text ng Frankfurter Rundschau, apat na uri (PER para sa mga tao, ORG, LOC, at MISC para sa “names of miscellaneous entities that do not belong to the previous three groups” (Salin ng BroadRouter: “mga pangalan ng iba’t ibang entity na hindi kabilang sa naunang tatlong grupo”)), at IOB tags: B- o I- ng isang uri ang bawat salita, o O para sa labas. F1 sa mga entity ang scoring, at bilang lang ang isang entity kung eksaktong tugma ito sa reference.

Isang halimbawa sa Arabic sa anyong IOB:

Token Tag
زار O
خالد B-PER
العتيبي I-PER
مدينة O
الرياض B-LOC

(“Binisita ni Khalid Al-Otaibi ang lungsod ng Riyadh.”)

May sariling mga dataset ang Arabic. Ang ANERcorp, na ginawa ni Yassine Benajiba at standard na reference mula pa 2008, ay newswire text; may 125,102 salita sa training at 25,008 salita sa test ang napagkasunduang split ng CAMeL Lab, sa ilalim ng CC BY-SA 4.0. Ang Wojood (Jarrar et al., 2022) ay may mga 550K token ng MSA at dialect na text, 21 uri ng entity at mga 75K entity, 22.5% sa mga ito ay nested. Nakakuha ng 0.884 micro F1 ang model nito na batay sa AraBERT.

Iba ang karaniwang paraan sa isang LLM: humingi ng listahan, hindi ng tag kada token.

{"entities": [
  {"text": "خالد العتيبي", "type": "PERSON"},
  {"text": "الرياض", "type": "LOCATION"}
]}

Bakit ito mahalaga

Pinapakain ng NER ang mga search filter, CRM record, pag-redact ng PII at knowledge graph. Sa isang LLM, ito ang mga pangunahing panganib:

  • Inimbento o binagong entity. Puwedeng magbalik ang model ng pangalang wala sa text, o “itama” ang spelling nito. Suriin na lumalabas sa source ang bawat entity, matapos ang Arabic text normalization sa magkabilang panig. Isa itong anyo ng pagsuri sa hallucination.
  • Paggalaw ng label. Itakda ang listahan ng uri sa isang schema, para hindi makaimbento ang model ng bagong uri.
  • Hindi mo data ang mga benchmark. Bihirang tumugma sa iyo ang mga public label. Mag-label nang mano-mano ng isang sample at i-score ang precision, recall at F1, gaya sa anumang eval.

Sa BroadNet Inference

Walang NER endpoint ang BroadNet; binubuo mo ito sa POST /v1/chat/completions. Idinodokumento ng API reference ng BroadNet ang structured output para sa GLM 5.3 at Qwen3.8 27B, na siyang paraan para ipilit sa model ang isang listahan ng entity at isang takdang set ng uri. Para sa mga dokumentong dumarating bilang larawan, tumatanggap din ng image input ang Qwen3.8 27B.

Walang inilalathalang NER benchmark ang BroadNet para sa mga model nito. May prompt, span check na hindi pinapansin ang diacritics, paghawak ng petsang Hijri at scoring script na mapapatakbo mo sa sarili mong sample ang post tungkol sa Arabic named entity extraction.

Mga tanong

Ano ang pagkakaiba ng NER at entity extraction?

Sa research, kadalasang ibig sabihin ng NER ang pag-tag sa bawat token ng isang label. Ang entity extraction naman ay madalas pagbabalik ng listahan ng entities, na siyang paraan ng karamihan ng LLM pipeline. I-score ang anyong talagang ini-ship mo.

Bakit hindi tugma sa Arabic text ko ang entity na ibinalik ng model?

Kadalasan, binago ng model ang isang hamza, tinanggal ang tatweel o nagdagdag ng diacritics habang kumokopya. I-normalize ang entity at ang source bago suriin kung lumalabas ito.

Ano ang nested NER?

Mga entity na nasa loob ng ibang entity, gaya ng lungsod sa loob ng pangalan ng isang organisasyon. Ina-annotate ito ng Wojood; 22.5% ng mga entity nito ay nested.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity