BroadRouter
Bắt đầu

Nhận dạng thực thể có tên (NER)

Cập nhật

Nhận dạng thực thể có tên (NER) là tác vụ tìm các tên trong văn bản và gán cho mỗi tên một loại, như người, tổ chức hay địa điểm. Hệ thống cổ điển gán nhãn từng token; với LLM, người ta thường yêu cầu trả về danh sách thực thể dạng JSON rồi đối chiếu với văn bản gốc.

Còn gọi là: NER, nhận dạng thực thể, nhận diện thực thể có tên, trích xuất thực thể, named entity recognition, entity extraction, named entities

Lấy ra mọi người, công ty và địa điểm trong một hợp đồng hay bản tin, kèm loại của từng cái. Đó là NER, một trong những việc phổ biến nhất được giao cho LLM.

Cách hoạt động

Benchmark cổ điển là shared task CoNLL-2003. Nó dùng tin tức tiếng Anh của Reuters và văn bản tiếng Đức của Frankfurter Rundschau, bốn loại (PER cho người, ORG, LOC và MISC cho “names of miscellaneous entities that do not belong to the previous three groups” (Bản dịch: tên các thực thể khác không thuộc ba nhóm trên)), và nhãn IOB: mỗi từ là B- hoặc I- của một loại, hoặc O nếu nằm ngoài (outside). Điểm là F1 trên thực thể, và một thực thể chỉ được tính khi khớp chính xác với đáp án.

Một ví dụ tiếng Ả Rập ở dạng IOB:

Token Nhãn
زار O
خالد B-PER
العتيبي I-PER
مدينة O
الرياض B-LOC

(“Khalid Al-Otaibi đã đến thăm thành phố Riyadh.”)

Tiếng Ả Rập có bộ dữ liệu riêng. ANERcorp, do Yassine Benajiba tạo ra và là chuẩn tham chiếu từ năm 2008, gồm văn bản tin tức; bộ chia được thống nhất của CAMeL Lab có 125.102 từ huấn luyện và 25.008 từ kiểm thử theo giấy phép CC BY-SA 4.0. Wojood (Jarrar và cộng sự, 2022) có khoảng 550 nghìn token văn bản MSA và phương ngữ, 21 loại thực thể và khoảng 75 nghìn thực thể, trong đó 22,5% là thực thể lồng nhau. Model dựa trên AraBERT của nó đạt micro F1 0,884.

Với LLM, cách đặt vấn đề phổ biến lại khác: yêu cầu một danh sách, không phải nhãn cho từng token.

{"entities": [
  {"text": "خالد العتيبي", "type": "PERSON"},
  {"text": "الرياض", "type": "LOCATION"}
]}

Vì sao quan trọng

NER là đầu vào cho bộ lọc tìm kiếm, bản ghi CRM, việc che PII và knowledge graph. Khi dùng LLM, các rủi ro chính là:

  • Thực thể bịa ra hoặc bị sửa. Model có thể trả về một cái tên không có trong văn bản, hoặc “sửa” chính tả của nó. Hãy kiểm tra mọi thực thể đều xuất hiện trong văn bản gốc, sau khi chuẩn hóa văn bản tiếng Ả Rập ở cả hai phía. Đây là một dạng kiểm tra ảo giác.
  • Nhãn bị trôi. Cố định danh sách loại trong một schema để model không thể tự tạo loại mới.
  • Benchmark không phải dữ liệu của bạn. Nhãn công khai hiếm khi khớp với nhãn của bạn. Hãy tự gán nhãn một mẫu và chấm precision, recall và F1, như với bất kỳ eval nào.

Trên BroadNet Inference

BroadNet không có endpoint NER; bạn xây nó trên POST /v1/chat/completions. Tài liệu tham chiếu API của BroadNet mô tả đầu ra có cấu trúc cho GLM 5.3 và Qwen3.8 27B, đó là cách bạn buộc model tuân theo một danh sách thực thể và một tập loại cố định. Với tài liệu đến dưới dạng ảnh, Qwen3.8 27B cũng nhận đầu vào hình ảnh.

BroadNet không công bố benchmark NER nào cho các model của mình. Bài viết về trích xuất thực thể có tên tiếng Ả Rập có prompt, cách kiểm tra span bỏ qua dấu phụ, cách xử lý ngày theo lịch Hijri và một script chấm điểm để chạy trên mẫu của chính bạn.

Câu hỏi thường gặp

NER khác gì trích xuất thực thể?

Trong nghiên cứu, NER thường là gán nhãn cho từng token. Trích xuất thực thể thường là trả về một danh sách thực thể, và đây là cách phần lớn pipeline LLM đặt vấn đề. Hãy chấm điểm đúng cách bạn thực sự triển khai.

Vì sao thực thể model trả về không khớp với văn bản tiếng Ả Rập của tôi?

Thường là model đã đổi hamza, bỏ tatweel hoặc thêm dấu phụ khi chép lại. Hãy chuẩn hóa cả thực thể và văn bản gốc trước khi kiểm tra thực thể có xuất hiện hay không.

NER lồng nhau (nested NER) là gì?

Là thực thể nằm bên trong thực thể khác, như tên thành phố trong tên một tổ chức. Wojood gán nhãn những trường hợp này; 22,5% số thực thể của nó là thực thể lồng nhau.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity