BroadRouter
Mulakan

Pengecaman entiti bernama (NER)

Dikemas kini

Pengecaman entiti bernama (NER) ialah tugas mencari nama dalam teks dan melabel setiap satu dengan jenisnya, seperti orang, organisasi atau lokasi. Sistem klasik menanda setiap token; LLM pula sering diminta memulangkan senarai entiti sebagai JSON, yang kemudian disemak dengan teks sumber.

Juga dikenali sebagai: NER, named entity recognition, pengecaman entiti bernama, entity extraction, pengekstrakan entiti, named entities

Keluarkan setiap orang, syarikat dan tempat daripada kontrak atau berita, dengan jenis bagi setiap satu. Itulah NER, dan ia antara kerja paling lazim yang diberikan kepada LLM.

Cara ia berfungsi

Penanda aras klasiknya ialah tugasan bersama CoNLL-2003. Ia menggunakan berita Reuters dalam bahasa Inggeris dan teks Frankfurter Rundschau dalam bahasa Jerman, empat jenis (PER untuk orang, ORG, LOC, dan MISC untuk “names of miscellaneous entities that do not belong to the previous three groups” (Terjemahan BroadRouter: “nama entiti pelbagai yang tidak tergolong dalam tiga kumpulan sebelumnya”)), dan tag IOB: setiap perkataan ialah B- atau I- bagi sesuatu jenis, atau O untuk luar. Pemarkahan ialah F1 ke atas entiti, dan entiti hanya dikira jika ia sepadan tepat dengan rujukan.

Contoh bahasa Arab dalam bentuk IOB:

Token Tag
زار O
خالد B-PER
العتيبي I-PER
مدينة O
الرياض B-LOC

(“Khalid Al-Otaibi melawat bandar Riyadh.”)

Bahasa Arab mempunyai set datanya sendiri. ANERcorp, yang dicipta oleh Yassine Benajiba dan menjadi rujukan standard sejak 2008, ialah teks berita agensi; pembahagian yang dipersetujui oleh CAMeL Lab mempunyai 125,102 perkataan latihan dan 25,008 perkataan ujian di bawah CC BY-SA 4.0. Wojood (Jarrar et al., 2022) mempunyai kira-kira 550K token teks MSA dan dialek, 21 jenis entiti dan kira-kira 75K entiti, 22.5% daripadanya bersarang. Model berasaskan AraBERT miliknya mencatat 0.884 micro F1.

Dengan LLM, pembingkaian yang lazim berbeza: minta senarai, bukan tag bagi setiap token.

{"entities": [
  {"text": "خالد العتيبي", "type": "PERSON"},
  {"text": "الرياض", "type": "LOCATION"}
]}

Mengapa ia penting

NER menyuap penapis carian, rekod CRM, penyuntingan PII dan graf pengetahuan. Dengan LLM, risiko utamanya ialah:

  • Entiti yang direka atau diubah. Model boleh memulangkan nama yang tiada dalam teks, atau “membetulkan” ejaannya. Semak bahawa setiap entiti wujud dalam sumber, selepas penormalan teks Arab pada kedua-dua belah. Ini satu bentuk semakan halusinasi.
  • Label yang berubah-ubah. Tetapkan senarai jenis dalam skema, supaya model tidak boleh mencipta jenis baharu.
  • Penanda aras bukan data anda. Label awam jarang sepadan dengan label anda. Labelkan sampel secara manual dan skor precision, recall dan F1, seperti dalam mana-mana eval.

Di BroadNet Inference

BroadNet tiada endpoint NER; anda membinanya di atas POST /v1/chat/completions. Rujukan API BroadNet mendokumenkan output berstruktur untuk GLM 5.3 dan Qwen3.8 27B, iaitu cara anda mengikat model kepada senarai entiti dan set jenis yang tetap. Untuk dokumen yang tiba sebagai imej, Qwen3.8 27B juga menerima input imej.

BroadNet tidak menerbitkan penanda aras NER untuk modelnya. Artikel tentang pengekstrakan entiti bernama bahasa Arab mempunyai prompt, semakan span yang mengabaikan baris, pengendalian tarikh Hijrah dan skrip pemarkahan untuk dijalankan pada sampel anda sendiri.

Soalan lazim

Apakah perbezaan antara NER dan pengekstrakan entiti?

Dalam penyelidikan, NER biasanya bermaksud menanda setiap token dengan label. Pengekstrakan entiti (entity extraction) sering bermaksud memulangkan senarai entiti, iaitu cara kebanyakan saluran paip LLM membingkainya. Skor bentuk yang benar-benar anda hantar ke produksi.

Mengapakah entiti yang dipulangkan model tidak sepadan dengan teks Arab saya?

Selalunya model telah mengubah hamzah, membuang tatweel atau menambah baris semasa menyalin. Normalkan kedua-dua entiti dan sumber sebelum menyemak sama ada ia wujud.

Apakah itu NER bersarang?

Entiti di dalam entiti lain, seperti nama bandar di dalam nama organisasi. Wojood menganotasi entiti sebegini; 22.5% daripada entitinya bersarang.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity