BroadRouter

Pengekstrakan entiti bernama bahasa Arab dengan LLM: JSON dan tarikh

Oleh pasukan BroadNet Inference · 7 minit bacaan · Diterbitkan

Minta model menyalin setiap entiti tepat seperti yang ditulis, dengan jenis daripada senarai tetap, sebagai JSON. Semak setiap entiti dalam kod: ia mesti wujud dalam sumber selepas diakritik dibuang dan bentuk alef diseragamkan. Tukar tarikh Hijrah dengan pustaka seperti hijridate, bukan dengan model. Skor sampel berlabel tangan dengan precision, recall dan F1 peringkat entiti.

Pengekstrakan entiti bernama menukar satu perenggan kepada rekod yang boleh digunakan oleh kod anda: siapa, organisasi mana, di mana dan bila. Bahasa Arab menambah empat masalah yang jarang ditemui saluran bahasa Inggeris: diakritik pilihan, beberapa ejaan bagi huruf yang sama, nama yang ditulis dalam huruf Rumi (Arabizi), dan tarikh dalam dua kalendar. Artikel ini membina langkah pengekstrakan pada LLM yang serasi OpenAI yang mengendalikan setiap satu dalam kod, serta skrip pemarkahan untuk memberitahu sama ada ia berfungsi pada teks anda.

Untuk mengelaskan keseluruhan mesej dan bukan mengeluarkan rentang daripadanya, lihat pengelasan teks bahasa Arab. Untuk pilihan permintaan JSON itu sendiri, lihat mod JSON vs json_schema.

Sejauh manakah prestasi LLM dalam NER bahasa Arab?

Pengukuran awam paling relevan yang kami temui ialah LAraBench (Abdelali et al., EACL 2024), yang menjalankan GPT-3.5 dan GPT-4 pada set NER bahasa Arab sebagai penandaan token demi token. Macro-F1, lebih tinggi lebih baik:

Set data GPT-3.5 zero-shot GPT-4 zero-shot GPT-4 3-shot Sistem ditala halus yang dipetik
ANERcorp (berita) 0.210 0.355 0.420 0.886
AQMAR (Wikipedia) 0.230 0.365 0.390 0.690
QASR (transkrip) 0.208 0.504 n/a 0.698

Lebih banyak contoh membantu: GPT-4 pada ANERcorp naik daripada 0.355 tanpa contoh kepada 0.451 dengan sepuluh. Para pengarang juga terpaksa memetakan semula tag yang ditulis model dalam formatnya sendiri, seperti PER-B untuk B-PER.

Baca ini dengan berhati-hati. Ini model 2023 yang melakukan tugas penandaan ketat pada set label penanda aras. Model semasa yang diminta senarai pendek orang dan syarikat dalam tiket sokongan mungkin jauh lebih baik, atau tidak. Jadual ini memberitahu dua perkara yang masih benar: LLM tidak semestinya sistem NER yang baik, dan anda perlukan pengukuran sendiri.

Set data NER bahasa Arab apakah yang wujud?

Set data Teks Saiz dan label
ANERcorp Berita Kira-kira 150,000 token; orang, lokasi, organisasi, pelbagai. CAMeL Lab menerbitkan pecahan train/test piawai
CLEANANERCorp ANERcorp, dibetulkan Membetulkan ralat anotasi, label yang hilang dan ketidakkonsistenan dalam versi asal
AQMAR Wikipedia bahasa Arab 74,000 token daripada 28 artikel
Wojood MSA dan dialek Kira-kira 550,000 token, 21 jenis entiti, bersarang; digunakan dalam tugas bersama WojoodNER 2023
CANERCorpus Hadis bahasa Arab Klasik Lebih 7,000 hadis, 20 jenis bertopik Islam

Gunakannya untuk semakan kewarasan prompt, bukan sebagai ujian penerimaan anda. Jenis entiti anda (pelanggan, produk, cawangan, nombor kontrak) berbeza daripada mereka, dan lesennya juga berbeza. Semak setiap satu sebelum penggunaan komersial.

Apakah yang patut diminta oleh prompt?

Tiga peraturan menjadikan output boleh disemak:

  1. Salin rentang dengan tepat. Tiada terjemahan, tiada transliterasi, tiada “melengkapkan” nama pertama menjadi nama penuh. Jika anda perlukan ejaan bahasa Inggeris, minta dalam medan berasingan dan anggap ia belum disahkan.
  2. Senarai jenis tertutup. PERSON, ORG, LOCATION, DATE, atau set anda sendiri. Jenis bebas tidak boleh diskor.
  3. Tarikh sebagai bahagian, bukan penukaran. Minta tahun, bulan dan hari seperti yang ditulis, berserta kalendar. هـ di hujung menandakan tarikh Hijrah; م menandakan Masihi.

Tulis arahan dalam bahasa Inggeris atau Arab; kejuruteraan prompt bahasa Arab membincangkan pertukarannya. Letakkan bentuk JSON dalam prompt sistem dan kekalkannya sama merentas permintaan supaya ia boleh di-cache.

Bagaimanakah menyemak entiti dengan sumber?

Model mungkin memulangkan nama yang tidak pernah disebut dalam teks, atau menyalin nama dengan betul tetapi tanpa diakritiknya. Ujian subrentetan biasa tidak dapat membezakan kedua-duanya. Normalkan kedua-dua pihak dahulu: buang tashkeel dan tatweel, seragamkan bentuk alef, dan cantumkan عبد ال supaya عبد الله sepadan dengan عبدالله. Peraturannya sama seperti dalam normalisasi teks bahasa Arab untuk carian, digunakan untuk padanan sahaja. Simpan rentang asal untuk paparan.

import json, os, re
from hijridate import Hijri
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

TYPES = {"PERSON", "ORG", "LOCATION", "DATE"}
SYSTEM = """Extract named entities from the Arabic text. Reply with JSON only:
{"entities": [{"text": "...", "type": "PERSON|ORG|LOCATION|DATE"}],
 "dates": [{"text": "...", "calendar": "hijri|gregorian", "year": 0, "month": 0, "day": 0}]}
Rules: copy "text" exactly as it appears in the input, including any diacritics.
Do not translate, transliterate or complete names. A date followed by هـ is Hijri.
If there are no entities, return empty lists."""

DIACRITICS = re.compile(r"[ً-ٰٟـ]")   # tashkeel, dagger alef, tatweel
def norm(s: str) -> str:
    s = DIACRITICS.sub("", s)
    s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي").replace("عبد ال", "عبدال")
    return " ".join(s.split())

def validate(source: str, data: dict) -> tuple[list, list]:
    """Keep entities that really occur in the source; report everything else."""
    src, kept, problems = norm(source), [], []
    for e in data.get("entities", []):
        if e.get("type") not in TYPES:
            problems.append(f"unknown type: {e}")
        elif norm(e.get("text", "")) not in src:
            problems.append(f"not in source: {e['text']}")
        else:
            kept.append(e)
    for d in data.get("dates", []):
        if d.get("calendar") == "hijri":
            try:
                d["iso"] = Hijri(d["year"], d["month"], d["day"]).to_gregorian().isoformat()
            except (ValueError, OverflowError) as err:
                problems.append(f"bad Hijri date {d['text']}: {err}")
    return kept, problems

def extract(text: str, model="broadnet/qwen3.8-27b") -> dict:
    r = client.chat.completions.create(
        model=model, max_tokens=2000,
        messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
    data = json.loads(r.choices[0].message.content)
    data["entities"], data["problems"] = validate(text, data)
    return data

text = "التقى خالِد بن سَعِيد مديرةَ شركة النخيل للتقنية في جدة يوم ١٥ جمادى الآخرة ١٤٤٥هـ."
print(json.dumps(extract(text), ensure_ascii=False, indent=1))

Kami menjalankannya pada pelayan olok-olok tempatan (tiada panggilan API langsung) yang jawapan sediaannya menambah seorang individu rekaan dan satu tarikh mustahil (bulan 13). Output mengekalkan خالد بن سعيد (jawapan itu membuang diakritik; padanan ternormal masih menemuinya), شركة النخيل للتقنية dan جدة. Ia menukar ١٥ جمادى الآخرة ١٤٤٥هـ kepada 2023-12-28, dan menyenaraikan dua masalah: nama rekaan itu “not in source”, dan bulan 13 menimbulkan “month must be in 1-12”. Nama dan syarikat itu rekaan.

Nota tentang kod:

  • max_tokens=2000 memberi ruang untuk penaakulan. Dokumentasi BroadNet menyatakan DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan sebelum menjawab, dan penaakulan itu dikira dalam max_tokens. Lihat respons kosong daripada model penaakulan.
  • json.loads boleh gagal. Balutnya, dan apabila gagal, hantar semula sekali dengan ralatnya, seperti dalam gelung pembaikan. Pada GLM 5.3 dan Qwen3.8 27B, yang didokumenkan BroadNet dengan output berstruktur, tambah juga skema response_format. Pengesahan tetap diperlukan dalam kedua-dua keadaan.
  • Padanan subrentetan sengaja longgar. Ia mengesahkan rentang itu wujud; ia tidak mengesahkan jenisnya. Jenis ialah apa yang diukur oleh langkah pemarkahan di bawah.

Bagaimanakah mengendalikan tarikh Hijrah?

Teks Arab menulis tarikh dalam banyak cara: ١٥/٦/١٤٤٥هـ, ١٥ جمادى الآخرة ١٤٤٥, atau tarikh Masihi dengan nama bulan yang berbeza mengikut wilayah (نوفمبر di Mesir dan Teluk, تشرين الثاني di Levant). Model biasanya boleh memecahkannya kepada bahagian, dan kod menyemak bahagian itu. Menukar antara kalendar ialah aritmetik pada jadual yang diterbitkan, dan model tiada sebab untuk mendapatkannya dengan betul.

hijridate, dahulunya hijri-converter, menukar menggunakan kalendar Umm al-Qura. Julat yang didokumenkannya ialah 1343 hingga 1500 H (1 Ogos 1924 hingga 16 November 2077 M). Di luar julat ia menimbulkan OverflowError; bulan atau hari yang tidak sah menimbulkan ValueError, sebab itu kod menangkap kedua-duanya. Dokumentasinya menyatakan ia tidak bertujuan untuk kegunaan keagamaan yang mengutamakan rukyah anak bulan, jadi tarikh yang ditetapkan melalui rukyah boleh berbeza daripada nilai yang ditukar. Simpan tarikh seperti yang ditulis di sebelah tarikh yang ditukar.

Digit Arab Timur tidak memerlukan pengendalian khas di sini: model memulangkan integer. Jika anda menghurai tarikh sendiri, petakan ٠١٢٣٤٥٦٧٨٩ (dan ۰–۹ Parsi) kepada 0–9 dahulu.

Bagaimana pula dengan nama dalam Arabizi dan teks bercampur?

Mesej pelanggan sering menulis nama dalam huruf Rumi: “ana 7a2ool la Mo7ammad bokra”. Peraturan rentang tepat masih berfungsi: teks entitinya ialah “Mo7ammad”, dan semakan subrentetan lulus. Yang gagal ialah memadankan rekod itu dengan محمد dalam CRM anda. Lakukannya dalam langkah kedua: tukar rentang itu kepada skrip Arab, seperti dalam mengendalikan Arabizi, kemudian padankan dengan rekod anda menggunakan normalisasi yang sama. Simpan bendera keyakinan pada mana-mana rekod yang melalui penukaran.

Perkara yang sama terpakai pada nama syarikat Inggeris dalam ayat Arab, dan ejaan Rumi bagi nama Arab (Mohammed, Muhammad, Mohamed). Jangan minta langkah pengekstrakan memilih satu ejaan.

Bagaimanakah memberi skor kepada pengekstrak?

Labelkan 100 hingga 200 sampel sebenar dengan tangan, menggunakan senarai jenis yang sama. Kemudian bandingkan ramalan dengan padanan tepat peringkat entiti pada teks ternormal dan jenis, dan laporkan precision, recall dan F1 bagi setiap jenis:

from collections import Counter

def score(gold: list[list[dict]], pred: list[list[dict]]) -> dict:
    """Entity-level exact match on (normalised text, type), micro-averaged, plus per type."""
    tp, fp, fn = Counter(), Counter(), Counter()
    for g, p in zip(gold, pred):
        G = Counter((norm(e["text"]), e["type"]) for e in g)
        P = Counter((norm(e["text"]), e["type"]) for e in p)
        for (t, ty), n in (G | P).items():
            hit = min(G[(t, ty)], P[(t, ty)])
            tp[ty] += hit; fp[ty] += P[(t, ty)] - hit; fn[ty] += G[(t, ty)] - hit
    def prf(a, b, c):
        p = a / (a + b) if a + b else 0.0
        r = a / (a + c) if a + c else 0.0
        return {"p": round(p, 3), "r": round(r, 3), "f1": round(2 * p * r / (p + r), 3) if p + r else 0.0}
    out = {ty: prf(tp[ty], fp[ty], fn[ty]) for ty in sorted(tp | fp | fn)}
    out["micro"] = prf(sum(tp.values()), sum(fp.values()), sum(fn.values()))
    return out

Pada set mainan dua ayat (tiga entiti emas; ramalan melabel جدة sebagai ORG dan bukan LOCATION serta menambah satu tempat lagi), ia mencetak micro precision 0.5, recall 0.667 dan F1 0.571, dan LOCATION F1 0. Paparan mengikut jenis menunjukkan di mana usaha patut ditumpukan: skor ORG yang lemah biasanya bermaksud definisi jenis anda memerlukan contoh, bukan model yang lebih besar.

Tentukan lebih awal apa yang dikira sebagai padanan. Padanan tepat adalah ketat: “شركة النخيل” berbanding emas “شركة النخيل للتقنية” diskor sebagai satu positif palsu dan satu negatif palsu. Jika rentang separa boleh diterima untuk kegunaan anda, laporkan skor kedua berasaskan pertindihan, tetapi kekalkan skor ketat sebagai angka utama.

Model BroadNet manakah yang patut digunakan?

Semua harga adalah setiap 1M token, daripada halaman harga BroadNet.

Model Sebab Input / output
Qwen3.8 27B Output berstruktur didokumenkan; BroadNet melaporkan ia diuji dalam bahasa Arab, termasuk pemahaman dialek Teluk dan Mesir; boleh membaca imej $0.175 / $2.17
GLM 5.3 Output berstruktur didokumenkan; konteks 1,048,576 token untuk dokumen yang sangat panjang $0.78 / $3.46
Gemma 4 VL 26B Berjalan dengan kredit permulaan $5; tiada output berstruktur didokumenkan, jadi sahkan JSON yang dihasilkan melalui prompt sahaja; konteks 32,768 token $0.10 / $0.22

Jalankan skrip pemarkahan pada sampel anda dengan setiap calon dan pilih berdasarkan F1 setiap jenis dan kos, bukan huraian vendor. Bahasa Arab biasanya memerlukan lebih banyak token daripada bahasa Inggeris untuk kandungan yang sama; token setiap perkataan dalam bahasa Arab mempunyai nisbah yang diukur. Untuk entiti dalam borang atau foto yang diimbas, ekstrak terus daripada imej, seperti dalam membaca invois bahasa Arab dengan vision.

Di manakah BroadNet Inference sesuai

BroadRouter ialah laman web BroadNet sendiri. BroadNet Inference memberi anda akses serasi OpenAI kepada model di atas dengan satu kunci, jadi kod berjalan dengan OpenAI Python SDK selepas menukar base URL. Dokumentasinya menyatakan prompt dan jawapan tidak disimpan selepas permintaan, yang penting apabila teks penuh dengan nama orang. Ia tiada endpoint NER khusus dan tidak menerbitkan penanda aras NER bahasa Arab sendiri, jadi ukur pada data anda. Jika anda perlukan penanda yang dihoskan sendiri untuk volum tinggi, model yang ditala halus pada Wojood atau label anda sendiri mungkin lebih murah dan lebih konsisten daripada mana-mana LLM; jurang yang diterbitkan di atas ialah sebab untuk menyemaknya.

Soalan lazim

Bolehkah LLM melakukan pengecaman entiti bernama bahasa Arab?

Boleh, dengan semakan. Keputusan zero-shot yang diterbitkan untuk NER bahasa Arab peringkat token ketinggalan jauh berbanding model yang ditala halus, jadi sahkan setiap entiti dengan teks sumber dan skor model pada sampel berlabel daripada data anda sendiri sebelum bergantung padanya.

Bagaimanakah memadankan nama Arab yang ada dan tiada diakritik?

Normalkan kedua-dua pihak sebelum membanding: buang tashkeel (U+064B hingga U+065F), alef pisau (dagger alef) dan tatweel, petakan إ أ آ ٱ kepada ا dan ى kepada ي, dan rapatkan ruang. Simpan teks asal untuk paparan; gunakan bentuk ternormal untuk padanan sahaja.

Bagaimanakah menukar tarikh Hijrah kepada Masihi dalam Python?

Gunakan hijridate (dahulunya hijri-converter): Hijri(1445, 6, 15).to_gregorian() memulangkan 2023-12-28. Ia mengikut kalendar Umm al-Qura, menyokong 1343 hingga 1500 H, dan tidak bertujuan untuk tarikh keagamaan yang ditetapkan melalui rukyah anak bulan.

Set data NER bahasa Arab manakah yang boleh saya uji?

ANERcorp (berita, kira-kira 150,000 token, empat jenis), AQMAR (74,000 token Wikipedia), Wojood (kira-kira 550,000 token MSA dan dialek dengan 21 jenis bersarang) dan CANERCorpus (hadis bahasa Arab Klasik, 20 jenis). Semak lesen setiap satu, dan petakan labelnya kepada label anda.

Patutkah model menterjemah atau mentransliterasi nama?

Tidak dalam langkah pengekstrakan. Minta rentang sumber yang tepat, supaya anda boleh mengesahkannya. Tambah medan berasingan untuk ejaan Rumi jika perlu, dan anggap ia belum disahkan.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity