Ambil setiap orang, perusahaan, dan tempat dari sebuah kontrak atau berita, lengkap dengan jenisnya. Itulah NER, dan ini salah satu pekerjaan paling umum yang diberikan kepada LLM.
Cara kerjanya
Benchmark klasiknya adalah shared task CoNLL-2003. Task ini memakai berita Reuters berbahasa Inggris dan teks Frankfurter Rundschau berbahasa Jerman, empat jenis entitas (PER untuk orang, ORG, LOC, dan MISC untuk “names of miscellaneous entities that do not belong to the previous three groups” (terjemahan: nama entitas lain-lain yang tidak termasuk tiga kelompok sebelumnya)), serta tag IOB: setiap kata diberi B- atau I- untuk suatu jenis, atau O jika berada di luar entitas. Penilaiannya memakai F1 atas entitas, dan sebuah entitas hanya dihitung jika sama persis dengan referensi.
Contoh bahasa Arab dalam format IOB:
| Token | Tag |
|---|---|
| زار | O |
| خالد | B-PER |
| العتيبي | I-PER |
| مدينة | O |
| الرياض | B-LOC |
(“Khalid Al-Otaibi mengunjungi kota Riyadh.”)
Bahasa Arab punya dataset sendiri. ANERcorp, dibuat oleh Yassine Benajiba dan menjadi referensi standar sejak 2008, berisi teks berita kantor berita; pembagian yang disepakati CAMeL Lab memiliki 125.102 kata latih dan 25.008 kata uji dengan lisensi CC BY-SA 4.0. Wojood (Jarrar dkk., 2022) memiliki sekitar 550 ribu token teks MSA dan dialek, 21 jenis entitas, dan sekitar 75 ribu entitas, 22,5% di antaranya bersarang. Model berbasis AraBERT-nya mencetak micro F1 0,884.
Dengan LLM, pembingkaian yang umum berbeda: minta daftar, bukan tag per token.
{"entities": [
{"text": "خالد العتيبي", "type": "PERSON"},
{"text": "الرياض", "type": "LOCATION"}
]}
Mengapa penting
NER menjadi bahan untuk filter pencarian, data CRM, penyamaran PII, dan knowledge graph. Dengan LLM, risiko utamanya adalah:
- Entitas yang dikarang atau diubah. Model bisa mengembalikan nama yang tidak ada di teks, atau “membetulkan” ejaannya. Cek bahwa setiap entitas muncul di sumber, setelah normalisasi teks Arab di kedua sisi. Ini salah satu bentuk pengecekan halusinasi.
- Pergeseran label. Tetapkan daftar jenis dalam skema, agar model tidak bisa mengarang jenis baru.
- Benchmark bukan data Anda. Label publik jarang cocok dengan label Anda. Beri label manual pada sampel lalu hitung precision, recall, dan F1, seperti pada eval mana pun.
Di BroadNet Inference
BroadNet tidak punya endpoint NER; Anda membangunnya di atas POST /v1/chat/completions. Referensi API BroadNet mendokumentasikan output terstruktur untuk GLM 5.3 dan Qwen3.8 27B, dan dengan cara itulah Anda mengikat model ke daftar entitas dan himpunan jenis yang tetap. Untuk dokumen yang datang sebagai gambar, Qwen3.8 27B juga menerima input gambar.
BroadNet tidak menerbitkan benchmark NER untuk model-modelnya. Artikel ekstraksi entitas bernama bahasa Arab berisi prompt, pengecekan span yang mengabaikan harakat, penanganan tanggal Hijriah, dan skrip penilaian untuk dijalankan pada sampel Anda sendiri.