BroadRouter

Trích xuất thực thể tiếng Ả Rập bằng LLM: JSON, ngày tháng, kiểm tra

Đội ngũ BroadNet Inference · 7 phút đọc · Đăng ngày

Yêu cầu model chép từng thực thể đúng như văn bản, kèm loại từ một danh sách cố định, dạng JSON. Kiểm tra mọi thực thể bằng code: nó phải có trong văn bản gốc sau khi bỏ dấu nguyên âm và thống nhất các dạng alef. Quy đổi ngày Hijri bằng thư viện như hijridate, không phải model. Chấm một mẫu gán nhãn tay bằng precision, recall và F1 theo thực thể.

Trích xuất thực thể có tên biến một đoạn văn thành các bản ghi mà code của bạn dùng được: ai, tổ chức nào, ở đâu và khi nào. Tiếng Ả Rập thêm bốn vấn đề mà pipeline tiếng Anh hiếm khi gặp: dấu nguyên âm tùy chọn, nhiều cách viết cho cùng một chữ cái, tên viết bằng chữ Latin (Arabizi), và ngày tháng theo hai loại lịch. Bài này dựng một bước trích xuất trên LLM tương thích OpenAI, xử lý từng vấn đề bằng code, cùng một script chấm điểm để biết nó có chạy tốt trên văn bản của bạn không.

Để phân loại cả tin nhắn thay vì rút span ra khỏi chúng, xem phân loại văn bản tiếng Ả Rập. Về các tùy chọn request JSON, xem JSON mode và json_schema.

LLM làm NER tiếng Ả Rập tốt đến đâu?

Phép đo công khai sát nhất mà chúng tôi tìm thấy là LAraBench (Abdelali và cộng sự, EACL 2024), chạy GPT-3.5 và GPT-4 trên các bộ NER tiếng Ả Rập theo kiểu gán nhãn từng token. Macro-F1, càng cao càng tốt:

Dataset GPT-3.5 zero-shot GPT-4 zero-shot GPT-4 3-shot Hệ thống fine-tune được trích dẫn
ANERcorp (tin tức) 0,210 0,355 0,420 0,886
AQMAR (Wikipedia) 0,230 0,365 0,390 0,690
QASR (bản chép lời) 0,208 0,504 n/a 0,698

Thêm ví dụ có giúp ích: GPT-4 trên ANERcorp tăng từ 0,355 khi không có ví dụ lên 0,451 với mười ví dụ. Các tác giả cũng phải ánh xạ lại những nhãn mà model viết theo định dạng riêng, như PER-B thay cho B-PER.

Hãy đọc kết quả này thận trọng. Đây là các model năm 2023 làm một nhiệm vụ gán nhãn khắt khe trên bộ nhãn benchmark. Một model hiện nay được yêu cầu liệt kê ngắn gọn người và công ty trong một ticket hỗ trợ có thể làm tốt hơn nhiều, hoặc không. Bảng cho bạn biết hai điều vẫn đúng: LLM không tự động là một hệ thống NER tốt, và bạn cần tự đo.

Có những dataset NER tiếng Ả Rập nào?

Dataset Văn bản Kích thước và nhãn
ANERcorp Tin tức Khoảng 150.000 token; người, địa điểm, tổ chức, khác. CAMeL Lab công bố phần chia train/test chuẩn
CLEANANERCorp ANERcorp đã sửa Sửa lỗi chú thích, nhãn bị thiếu và chỗ không nhất quán trong bản gốc
AQMAR Wikipedia tiếng Ả Rập 74.000 token từ 28 bài
Wojood MSA và phương ngữ Khoảng 550.000 token, 21 loại thực thể, lồng nhau; dùng trong shared task WojoodNER 2023
CANERCorpus Hadith tiếng Ả Rập cổ điển Hơn 7.000 hadith, 20 loại về chủ đề Hồi giáo

Hãy dùng chúng để kiểm tra sơ bộ prompt, không phải làm bài test nghiệm thu. Các loại thực thể của bạn (khách hàng, sản phẩm, chi nhánh, số hợp đồng) sẽ khác của họ, và giấy phép cũng khác nhau. Kiểm tra từng bộ trước khi dùng cho mục đích thương mại.

Prompt nên yêu cầu gì?

Ba quy tắc giúp đầu ra kiểm tra được:

  1. Chép span chính xác. Không dịch, không phiên âm, không “bổ sung” tên riêng thành họ tên đầy đủ. Nếu cần cách viết tiếng Anh, hãy yêu cầu trong một trường riêng và coi nó là chưa kiểm chứng.
  2. Danh sách loại đóng. PERSON, ORG, LOCATION, DATE, hoặc bộ của riêng bạn. Loại tự do thì không chấm điểm được.
  3. Ngày tháng theo thành phần, không quy đổi. Yêu cầu năm, tháng và ngày như đã viết, cộng loại lịch. هـ ở cuối đánh dấu ngày Hijri; م đánh dấu dương lịch.

Viết chỉ dẫn bằng tiếng Anh hoặc tiếng Ả Rập; prompt engineering cho tiếng Ả Rập nói về sự đánh đổi. Đặt cấu trúc JSON trong system prompt và giữ nó giống hệt giữa các request để có thể được cache.

Đối chiếu thực thể với văn bản gốc thế nào?

Model có thể trả về một cái tên mà văn bản chưa từng nhắc, hoặc chép đúng tên nhưng thiếu dấu nguyên âm. Phép kiểm tra chuỗi con đơn giản không phân biệt được hai trường hợp đó. Hãy chuẩn hóa cả hai bên trước: bỏ tashkeel và tatweel, thống nhất các dạng alef, và nối عبد ال để عبد الله khớp với عبدالله. Quy tắc giống trong chuẩn hóa văn bản tiếng Ả Rập cho tìm kiếm, chỉ áp dụng cho việc so khớp. Giữ span gốc để hiển thị.

import json, os, re
from hijridate import Hijri
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

TYPES = {"PERSON", "ORG", "LOCATION", "DATE"}
SYSTEM = """Extract named entities from the Arabic text. Reply with JSON only:
{"entities": [{"text": "...", "type": "PERSON|ORG|LOCATION|DATE"}],
 "dates": [{"text": "...", "calendar": "hijri|gregorian", "year": 0, "month": 0, "day": 0}]}
Rules: copy "text" exactly as it appears in the input, including any diacritics.
Do not translate, transliterate or complete names. A date followed by هـ is Hijri.
If there are no entities, return empty lists."""

DIACRITICS = re.compile(r"[ً-ٰٟـ]")   # tashkeel, dagger alef, tatweel
def norm(s: str) -> str:
    s = DIACRITICS.sub("", s)
    s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي").replace("عبد ال", "عبدال")
    return " ".join(s.split())

def validate(source: str, data: dict) -> tuple[list, list]:
    """Keep entities that really occur in the source; report everything else."""
    src, kept, problems = norm(source), [], []
    for e in data.get("entities", []):
        if e.get("type") not in TYPES:
            problems.append(f"unknown type: {e}")
        elif norm(e.get("text", "")) not in src:
            problems.append(f"not in source: {e['text']}")
        else:
            kept.append(e)
    for d in data.get("dates", []):
        if d.get("calendar") == "hijri":
            try:
                d["iso"] = Hijri(d["year"], d["month"], d["day"]).to_gregorian().isoformat()
            except (ValueError, OverflowError) as err:
                problems.append(f"bad Hijri date {d['text']}: {err}")
    return kept, problems

def extract(text: str, model="broadnet/qwen3.8-27b") -> dict:
    r = client.chat.completions.create(
        model=model, max_tokens=2000,
        messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
    data = json.loads(r.choices[0].message.content)
    data["entities"], data["problems"] = validate(text, data)
    return data

text = "التقى خالِد بن سَعِيد مديرةَ شركة النخيل للتقنية في جدة يوم ١٥ جمادى الآخرة ١٤٤٥هـ."
print(json.dumps(extract(text), ensure_ascii=False, indent=1))

Chúng tôi chạy đoạn này với một mock server cục bộ (không gọi API thật) có câu trả lời soạn sẵn thêm một người bịa ra và một ngày không thể có (tháng 13). Đầu ra giữ lại خالد بن سعيد (câu trả lời bỏ mất dấu nguyên âm; phép so khớp đã chuẩn hóa vẫn tìm thấy), شركة النخيل للتقنية và جدة. Nó quy đổi ١٥ جمادى الآخرة ١٤٤٥هـ thành 2023-12-28, và liệt kê hai vấn đề: cái tên bịa ra là “not in source” (không có trong văn bản gốc), và tháng 13 gây lỗi “month must be in 1-12” (tháng phải từ 1 đến 12). Các tên người và công ty là hư cấu.

Ghi chú về code:

  • max_tokens=2000 chừa chỗ cho suy luận. Tài liệu của BroadNet cho biết DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời, và phần suy luận đó được tính vào max_tokens. Xem phản hồi rỗng từ model suy luận.
  • json.loads có thể lỗi. Hãy bọc nó lại, và khi lỗi thì gửi lại một lần kèm thông báo lỗi, như trong vòng lặp sửa lỗi. Trên GLM 5.3 và Qwen3.8 27B, được BroadNet ghi nhận có structured output, hãy thêm cả schema response_format. Bước kiểm tra vẫn giữ nguyên dù thế nào.
  • So khớp chuỗi con được cố ý làm lỏng. Nó xác nhận span tồn tại; nó không xác nhận loại. Loại là thứ bước chấm điểm bên dưới đo.

Xử lý ngày Hijri thế nào?

Văn bản tiếng Ả Rập viết ngày theo nhiều cách: ١٥/٦/١٤٤٥هـ, ١٥ جمادى الآخرة ١٤٤٥, hoặc ngày dương lịch với tên tháng khác nhau theo vùng (نوفمبر ở Ai Cập và vùng Vịnh, تشرين الثاني ở Levant). Model thường tách được chúng thành thành phần, và code kiểm tra các thành phần đó. Quy đổi giữa các loại lịch là phép tính trên một bảng đã công bố, và model không có lý do gì để làm đúng.

hijridate, trước đây là hijri-converter, quy đổi theo lịch Umm al-Qura. Phạm vi được ghi trong tài liệu là 1343 đến 1500 AH (1 tháng 8 năm 1924 đến 16 tháng 11 năm 2077 CN). Ngoài phạm vi nó báo OverflowError; tháng hoặc ngày không hợp lệ báo ValueError, đó là lý do code bắt cả hai. Tài liệu của nó nói thư viện không dành cho mục đích tôn giáo khi việc quan sát trăng lưỡi liềm được ưu tiên, nên một ngày xác định bằng quan sát có thể khác giá trị quy đổi. Hãy lưu ngày như đã viết bên cạnh ngày đã quy đổi.

Chữ số Ả Rập phương Đông không cần xử lý đặc biệt ở đây: model trả về số nguyên. Nếu tự phân tích ngày, hãy chuyển ٠١٢٣٤٥٦٧٨٩ (và chữ số Ba Tư ۰–۹) thành 0–9 trước.

Còn tên viết bằng Arabizi và văn bản trộn thì sao?

Tin nhắn của khách hàng thường viết tên bằng chữ Latin: “ana 7a2ool la Mo7ammad bokra” (nghĩa là: mai tôi sẽ nói với Mohammad). Quy tắc span chính xác vẫn hoạt động: văn bản thực thể là “Mo7ammad”, và phép kiểm tra chuỗi con vẫn qua. Thứ thất bại là việc khớp bản ghi đó với محمد trong CRM của bạn. Hãy làm việc đó ở bước thứ hai: chuyển span sang chữ Ả Rập, như trong xử lý Arabizi, rồi so khớp với bản ghi của bạn bằng cùng cách chuẩn hóa. Gắn cờ độ tin cậy cho mọi bản ghi đi qua một bước chuyển đổi.

Điều tương tự áp dụng cho tên công ty tiếng Anh trong câu tiếng Ả Rập, và cho cách viết Latin của tên Ả Rập (Mohammed, Muhammad, Mohamed). Đừng bắt bước trích xuất chọn một cách viết.

Chấm điểm bộ trích xuất thế nào?

Gán nhãn tay 100 đến 200 mẫu thật, với cùng danh sách loại. Sau đó so sánh dự đoán bằng khớp chính xác theo thực thể trên văn bản đã chuẩn hóa và loại, và báo cáo precision, recall và F1 theo từng loại:

from collections import Counter

def score(gold: list[list[dict]], pred: list[list[dict]]) -> dict:
    """Entity-level exact match on (normalised text, type), micro-averaged, plus per type."""
    tp, fp, fn = Counter(), Counter(), Counter()
    for g, p in zip(gold, pred):
        G = Counter((norm(e["text"]), e["type"]) for e in g)
        P = Counter((norm(e["text"]), e["type"]) for e in p)
        for (t, ty), n in (G | P).items():
            hit = min(G[(t, ty)], P[(t, ty)])
            tp[ty] += hit; fp[ty] += P[(t, ty)] - hit; fn[ty] += G[(t, ty)] - hit
    def prf(a, b, c):
        p = a / (a + b) if a + b else 0.0
        r = a / (a + c) if a + c else 0.0
        return {"p": round(p, 3), "r": round(r, 3), "f1": round(2 * p * r / (p + r), 3) if p + r else 0.0}
    out = {ty: prf(tp[ty], fp[ty], fn[ty]) for ty in sorted(tp | fp | fn)}
    out["micro"] = prf(sum(tp.values()), sum(fp.values()), sum(fn.values()))
    return out

Trên một bộ đồ chơi hai câu (ba thực thể chuẩn; dự đoán gán جدة là ORG thay vì LOCATION và thêm một địa điểm thừa), nó in ra micro precision 0,5, recall 0,667 và F1 0,571, và F1 của LOCATION bằng 0. Góc nhìn theo loại cho bạn biết nên dồn công sức vào đâu: điểm ORG thấp thường có nghĩa là định nghĩa loại của bạn cần ví dụ, không phải cần model lớn hơn.

Hãy quyết định trước thế nào là khớp. Khớp chính xác rất khắt khe: “شركة النخيل” so với bản chuẩn “شركة النخيل للتقنية” bị tính là một false positive và một false negative. Nếu span một phần chấp nhận được với mục đích của bạn, hãy báo cáo thêm một điểm dựa trên độ chồng lấn, nhưng giữ điểm khắt khe làm con số chính.

Nên dùng model BroadNet nào?

Mọi giá đều tính trên 1 triệu token, lấy từ trang bảng giá của BroadNet.

Model Lý do Đầu vào / đầu ra
Qwen3.8 27B Có ghi nhận structured output; BroadNet cho biết đã test bằng tiếng Ả Rập, gồm cả hiểu phương ngữ vùng Vịnh và Ai Cập; đọc được ảnh $0.175 / $2.17
GLM 5.3 Có ghi nhận structured output; context 1.048.576 token cho tài liệu rất dài $0.78 / $3.46
Gemma 4 VL 26B Chạy bằng tín dụng ban đầu $5; không có ghi nhận structured output, nên hãy kiểm tra JSON chỉ dựa vào prompt; context 32.768 token $0.10 / $0.22

Chạy script chấm điểm trên mẫu của bạn với từng ứng viên và chọn theo F1 từng loại và chi phí, không theo mô tả của nhà cung cấp. Tiếng Ả Rập thường tốn nhiều token hơn tiếng Anh cho cùng nội dung; số token mỗi từ trong tiếng Ả Rập có các tỷ lệ đã đo. Với thực thể trong biểu mẫu scan hay ảnh chụp, hãy trích xuất trực tiếp từ ảnh, như trong đọc hóa đơn tiếng Ả Rập bằng vision.

BroadNet Inference phù hợp ở đâu

BroadRouter là trang web của chính BroadNet. BroadNet Inference cho bạn truy cập tương thích OpenAI vào các model trên bằng một key, nên code chạy với OpenAI Python SDK sau khi đổi base URL. Tài liệu của họ cho biết prompt và câu trả lời không được lưu giữ sau request, điều quan trọng khi văn bản đầy tên người. Họ không có endpoint NER riêng và không công bố benchmark NER tiếng Ả Rập nào của mình, nên hãy đo trên dữ liệu của bạn. Nếu cần một bộ gán nhãn tự host cho khối lượng lớn, một model fine-tune trên Wojood hoặc nhãn của riêng bạn có thể rẻ hơn và nhất quán hơn mọi LLM; khoảng cách đã công bố ở trên chính là lý do nên kiểm tra.

Câu hỏi thường gặp

LLM có làm được nhận dạng thực thể có tên tiếng Ả Rập không?

Có, với điều kiện có kiểm tra. Kết quả zero-shot đã công bố cho NER tiếng Ả Rập mức token thua xa các model fine-tune, nên hãy đối chiếu mọi thực thể với văn bản gốc và chấm điểm model trên một mẫu dữ liệu của chính bạn đã gán nhãn trước khi dựa vào nó.

So khớp tên tiếng Ả Rập có dấu và không dấu thế nào?

Chuẩn hóa cả hai bên trước khi so sánh: bỏ tashkeel (U+064B đến U+065F), alef dao găm và tatweel, chuyển إ أ آ ٱ thành ا và ى thành ي, và gộp khoảng trắng. Giữ văn bản gốc để hiển thị; chỉ dùng dạng đã chuẩn hóa để so khớp.

Quy đổi ngày Hijri sang dương lịch bằng Python thế nào?

Dùng hijridate (trước đây là hijri-converter): Hijri(1445, 6, 15).to_gregorian() trả về 2023-12-28. Thư viện theo lịch Umm al-Qura, hỗ trợ 1343 đến 1500 AH, và không dành cho các ngày tôn giáo được xác định bằng việc quan sát trăng.

Có thể test trên những dataset NER tiếng Ả Rập nào?

ANERcorp (tin tức, khoảng 150.000 token, bốn loại), AQMAR (74.000 token Wikipedia), Wojood (khoảng 550.000 token MSA và phương ngữ với 21 loại lồng nhau) và CANERCorpus (hadith tiếng Ả Rập cổ điển, 20 loại). Hãy kiểm tra giấy phép của từng bộ, và ánh xạ nhãn của chúng sang nhãn của bạn.

Model có nên dịch hoặc phiên âm tên không?

Không phải ở bước trích xuất. Hãy yêu cầu đúng span trong văn bản gốc để bạn kiểm chứng được. Thêm một trường riêng cho cách viết Latin nếu bạn cần, và coi nó là chưa được kiểm chứng.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity