Ekstraksi entitas bernama mengubah paragraf menjadi record yang bisa dipakai kode Anda: siapa, organisasi mana, di mana, dan kapan. Bahasa Arab menambahkan empat masalah yang jarang ditemui pipeline bahasa Inggris: harakat opsional, beberapa ejaan untuk huruf yang sama, nama yang ditulis dengan huruf Latin (Arabizi), dan tanggal dalam dua kalender. Artikel ini membangun langkah ekstraksi di atas LLM yang kompatibel dengan OpenAI yang menangani masing-masing di kode, plus skrip penilaian untuk memberi tahu apakah langkah itu bekerja pada teks Anda.
Untuk mengklasifikasikan pesan utuh alih-alih menarik rentang darinya, lihat klasifikasi teks bahasa Arab. Untuk opsi permintaan JSON itu sendiri, lihat JSON mode vs json_schema.
Seberapa baik LLM untuk NER bahasa Arab?
Pengukuran publik paling relevan yang kami temukan adalah LAraBench (Abdelali dkk., EACL 2024), yang menjalankan GPT-3.5 dan GPT-4 pada set NER bahasa Arab sebagai tagging token per token. Macro-F1, makin tinggi makin baik:
| Dataset | GPT-3.5 zero-shot | GPT-4 zero-shot | GPT-4 3-shot | Sistem fine-tuning yang dikutip |
|---|---|---|---|---|
| ANERcorp (berita) | 0,210 | 0,355 | 0,420 | 0,886 |
| AQMAR (Wikipedia) | 0,230 | 0,365 | 0,390 | 0,690 |
| QASR (transkrip) | 0,208 | 0,504 | n/a | 0,698 |
Contoh tambahan membantu: GPT-4 di ANERcorp naik dari 0,355 tanpa contoh ke 0,451 dengan sepuluh contoh. Para penulis juga harus memetakan ulang tag yang ditulis model dalam formatnya sendiri, misalnya PER-B alih-alih B-PER.
Baca ini dengan hati-hati. Ini model tahun 2023 yang mengerjakan tugas tagging ketat pada set label benchmark. Model terkini yang diminta membuat daftar singkat orang dan perusahaan di tiket support bisa jauh lebih baik, atau tidak. Tabel ini memberi tahu dua hal yang masih berlaku: LLM tidak otomatis menjadi sistem NER yang bagus, dan Anda butuh pengukuran sendiri.
Dataset NER bahasa Arab apa saja yang ada?
| Dataset | Teks | Ukuran dan label |
|---|---|---|
| ANERcorp | Berita | Sekitar 150.000 token; orang, lokasi, organisasi, lain-lain. CAMeL Lab menerbitkan split train/test standar |
| CLEANANERCorp | ANERcorp, dikoreksi | Memperbaiki kesalahan anotasi, label yang hilang, dan inkonsistensi yang ditemukan di versi asli |
| AQMAR | Wikipedia bahasa Arab | 74.000 token dari 28 artikel |
| Wojood | MSA dan dialek | Sekitar 550.000 token, 21 tipe entitas, bersarang; dipakai di shared task WojoodNER 2023 |
| CANERCorpus | Hadis berbahasa Arab Klasik | Lebih dari 7.000 hadis, 20 tipe tentang topik keislaman |
Pakai dataset ini untuk mengecek kewajaran prompt, bukan sebagai tes penerimaan Anda. Tipe entitas Anda (pelanggan, produk, cabang, nomor kontrak) akan berbeda dari milik mereka, dan lisensinya juga berbeda. Cek masing-masing sebelum dipakai secara komersial.
Apa yang harus diminta dalam prompt?
Tiga aturan membuat output bisa dicek:
- Salin rentangnya persis. Tanpa terjemahan, tanpa transliterasi, tanpa “melengkapi” nama depan menjadi nama lengkap. Jika Anda butuh ejaan bahasa Inggris, minta di field terpisah dan anggap belum terverifikasi.
- Daftar tipe tertutup. PERSON, ORG, LOCATION, DATE, atau set Anda sendiri. Tipe bebas tidak bisa dinilai.
- Tanggal sebagai bagian, bukan konversi. Minta tahun, bulan, dan hari seperti tertulis, plus kalendernya. هـ di belakang menandai tanggal Hijriah; م menandai Masehi.
Tulis instruksi dalam bahasa Inggris atau Arab; prompt engineering bahasa Arab membahas untung-ruginya. Taruh bentuk JSON di system prompt dan jaga agar identik di setiap permintaan supaya bisa di-cache.
Bagaimana mengecek entitas terhadap sumber?
Model bisa mengembalikan nama yang tidak pernah disebut teks, atau menyalin nama dengan benar tetapi tanpa harakatnya. Tes substring biasa tidak bisa membedakan keduanya. Normalisasi kedua sisi lebih dulu: hapus tasykil dan tatwil, seragamkan bentuk alif, dan gabungkan عبد ال sehingga عبد الله cocok dengan عبدالله. Aturannya sama dengan normalisasi teks bahasa Arab untuk pencarian, hanya diterapkan untuk pencocokan. Simpan rentang asli untuk ditampilkan.
import json, os, re
from hijridate import Hijri
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
TYPES = {"PERSON", "ORG", "LOCATION", "DATE"}
SYSTEM = """Extract named entities from the Arabic text. Reply with JSON only:
{"entities": [{"text": "...", "type": "PERSON|ORG|LOCATION|DATE"}],
"dates": [{"text": "...", "calendar": "hijri|gregorian", "year": 0, "month": 0, "day": 0}]}
Rules: copy "text" exactly as it appears in the input, including any diacritics.
Do not translate, transliterate or complete names. A date followed by هـ is Hijri.
If there are no entities, return empty lists."""
DIACRITICS = re.compile(r"[ً-ٰٟـ]") # tashkeel, dagger alef, tatweel
def norm(s: str) -> str:
s = DIACRITICS.sub("", s)
s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي").replace("عبد ال", "عبدال")
return " ".join(s.split())
def validate(source: str, data: dict) -> tuple[list, list]:
"""Keep entities that really occur in the source; report everything else."""
src, kept, problems = norm(source), [], []
for e in data.get("entities", []):
if e.get("type") not in TYPES:
problems.append(f"unknown type: {e}")
elif norm(e.get("text", "")) not in src:
problems.append(f"not in source: {e['text']}")
else:
kept.append(e)
for d in data.get("dates", []):
if d.get("calendar") == "hijri":
try:
d["iso"] = Hijri(d["year"], d["month"], d["day"]).to_gregorian().isoformat()
except (ValueError, OverflowError) as err:
problems.append(f"bad Hijri date {d['text']}: {err}")
return kept, problems
def extract(text: str, model="broadnet/qwen3.8-27b") -> dict:
r = client.chat.completions.create(
model=model, max_tokens=2000,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
data = json.loads(r.choices[0].message.content)
data["entities"], data["problems"] = validate(text, data)
return data
text = "التقى خالِد بن سَعِيد مديرةَ شركة النخيل للتقنية في جدة يوم ١٥ جمادى الآخرة ١٤٤٥هـ."
print(json.dumps(extract(text), ensure_ascii=False, indent=1))
Kami menjalankannya terhadap server tiruan lokal (tanpa panggilan API langsung) yang balasan siapnya menambahkan satu orang karangan dan satu tanggal mustahil (bulan 13). Output mempertahankan خالد بن سعيد (balasan membuang harakat; pencocokan ternormalisasi tetap menemukannya), شركة النخيل للتقنية, dan جدة. Kode mengonversi ١٥ جمادى الآخرة ١٤٤٥هـ menjadi 2023-12-28, dan mencatat dua masalah: nama karangan ditandai “not in source” (tidak ada di sumber), dan bulan 13 memunculkan “month must be in 1-12”. Nama dan perusahaan itu fiktif.
Catatan tentang kode:
max_tokens=2000menyisakan ruang untuk penalaran. Dokumentasi BroadNet menyebutkan DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar sebelum menjawab, dan penalaran itu dihitung ke dalammax_tokens. Lihat respons kosong dari model penalaran.json.loadsbisa gagal. Bungkus, dan jika gagal, kirim ulang sekali beserta error-nya, seperti di loop perbaikan. Pada GLM 5.3 dan Qwen3.8 27B, yang didokumentasikan BroadNet dengan output terstruktur, tambahkan juga skemaresponse_format. Validasi tetap dijalankan apa pun pilihannya.- Pencocokan substring sengaja dibuat longgar. Pencocokan ini memastikan rentangnya ada; tidak memastikan tipenya. Tipe adalah hal yang diukur oleh langkah penilaian di bawah.
Bagaimana menangani tanggal Hijriah?
Teks bahasa Arab menulis tanggal dengan banyak cara: ١٥/٦/١٤٤٥هـ, ١٥ جمادى الآخرة ١٤٤٥, atau tanggal Masehi dengan nama bulan yang berbeda per wilayah (نوفمبر di Mesir dan Teluk, تشرين الثاني di Syam). Model biasanya bisa memecah ini menjadi bagian-bagian, dan kode mengecek bagian-bagian itu. Konversi antarkalender adalah aritmetika pada tabel yang sudah dipublikasikan, dan tidak ada alasan model akan melakukannya dengan benar.
hijridate, sebelumnya hijri-converter, mengonversi dengan kalender Umm al-Qura. Rentang yang didokumentasikan adalah 1343 sampai 1500 H (1 Agustus 1924 sampai 16 November 2077 M). Di luar rentang, pustaka ini memunculkan OverflowError; bulan atau hari yang tidak valid memunculkan ValueError, itulah sebabnya kode menangkap keduanya. Dokumentasinya menyebutkan pustaka ini tidak dimaksudkan untuk keperluan keagamaan yang lebih mengutamakan rukyat hilal, jadi tanggal yang ditetapkan lewat rukyat bisa berbeda dari nilai hasil konversi. Simpan tanggal seperti tertulis di samping hasil konversinya.
Angka Arab Timur tidak perlu penanganan khusus di sini: model mengembalikan bilangan bulat. Jika Anda mem-parsing tanggal sendiri, petakan dulu ٠١٢٣٤٥٦٧٨٩ (dan angka Persia ۰–۹) ke 0–9.
Bagaimana dengan nama dalam Arabizi dan teks campuran?
Pesan pelanggan sering menulis nama dengan huruf Latin: “ana 7a2ool la Mo7ammad bokra”. Aturan rentang persis tetap berlaku: teks entitasnya “Mo7ammad”, dan cek substring lolos. Yang gagal adalah mencocokkan record itu dengan محمد di CRM Anda. Lakukan itu di langkah kedua: konversi rentangnya ke aksara Arab, seperti di menangani Arabizi, lalu cocokkan dengan record Anda memakai normalisasi yang sama. Beri tanda keyakinan pada setiap record yang melewati konversi.
Hal yang sama berlaku untuk nama perusahaan berbahasa Inggris di dalam kalimat bahasa Arab, dan untuk ejaan Latin nama Arab (Mohammed, Muhammad, Mohamed). Jangan minta langkah ekstraksi memilih satu ejaan.
Bagaimana menilai ekstraktornya?
Beri label manual pada 100 sampai 200 sampel nyata, dengan daftar tipe yang sama. Lalu bandingkan prediksi dengan kecocokan persis tingkat entitas pada teks ternormalisasi dan tipe, dan laporkan precision, recall, dan F1 per tipe:
from collections import Counter
def score(gold: list[list[dict]], pred: list[list[dict]]) -> dict:
"""Entity-level exact match on (normalised text, type), micro-averaged, plus per type."""
tp, fp, fn = Counter(), Counter(), Counter()
for g, p in zip(gold, pred):
G = Counter((norm(e["text"]), e["type"]) for e in g)
P = Counter((norm(e["text"]), e["type"]) for e in p)
for (t, ty), n in (G | P).items():
hit = min(G[(t, ty)], P[(t, ty)])
tp[ty] += hit; fp[ty] += P[(t, ty)] - hit; fn[ty] += G[(t, ty)] - hit
def prf(a, b, c):
p = a / (a + b) if a + b else 0.0
r = a / (a + c) if a + c else 0.0
return {"p": round(p, 3), "r": round(r, 3), "f1": round(2 * p * r / (p + r), 3) if p + r else 0.0}
out = {ty: prf(tp[ty], fp[ty], fn[ty]) for ty in sorted(tp | fp | fn)}
out["micro"] = prf(sum(tp.values()), sum(fp.values()), sum(fn.values()))
return out
Pada set mainan dua kalimat (tiga entitas emas; prediksi memberi جدة tipe ORG alih-alih LOCATION dan menambahkan satu tempat ekstra), skrip mencetak micro precision 0,5, recall 0,667, dan F1 0,571, serta F1 LOCATION 0. Tampilan per tipe menunjukkan di mana usaha perlu dicurahkan: skor ORG yang lemah biasanya berarti definisi tipe Anda butuh contoh, bukan model yang lebih besar.
Tentukan sejak awal apa yang dihitung sebagai kecocokan. Kecocokan persis itu ketat: “شركة النخيل” terhadap emas “شركة النخيل للتقنية” dihitung sebagai satu false positive dan satu false negative. Jika rentang parsial bisa diterima untuk kebutuhan Anda, laporkan skor kedua berbasis tumpang-tindih, tetapi tetap jadikan skor ketat sebagai angka utama.
Model BroadNet mana yang sebaiknya dipakai?
Semua harga per 1 juta token, dari halaman harga BroadNet.
| Model | Alasan | Input / output |
|---|---|---|
| Qwen3.8 27B | Output terstruktur terdokumentasi; BroadNet melaporkan model ini diuji dalam bahasa Arab, termasuk pemahaman dialek Teluk dan Mesir; bisa membaca gambar | $0.175 / $2.17 |
| GLM 5.3 | Output terstruktur terdokumentasi; konteks 1.048.576 token untuk dokumen yang sangat panjang | $0.78 / $3.46 |
| Gemma 4 VL 26B | Berjalan dengan kredit awal $5; output terstruktur tidak didokumentasikan, jadi validasi JSON yang hanya dihasilkan lewat prompt; konteks 32.768 token | $0.10 / $0.22 |
Jalankan skrip penilaian pada sampel Anda dengan setiap kandidat dan pilih berdasarkan F1 per tipe dan biaya, bukan berdasarkan deskripsi vendor. Bahasa Arab biasanya butuh lebih banyak token daripada bahasa Inggris untuk isi yang sama; token per kata dalam bahasa Arab berisi rasio hasil pengukuran. Untuk entitas di dalam formulir hasil pindai atau foto, ekstrak langsung dari gambar, seperti di membaca faktur bahasa Arab dengan vision.
Posisi BroadNet Inference
BroadRouter adalah situs milik BroadNet sendiri. BroadNet Inference memberi akses yang kompatibel dengan OpenAI ke model-model di atas dengan satu kunci, jadi kode berjalan dengan OpenAI Python SDK setelah base URL diganti. Dokumentasinya menyebutkan prompt dan jawaban tidak disimpan setelah permintaan, yang penting ketika teks penuh dengan nama orang. BroadNet tidak punya endpoint NER khusus dan tidak menerbitkan benchmark NER bahasa Arab sendiri, jadi ukur pada data Anda. Jika Anda butuh tagger self-hosted untuk volume tinggi, model hasil fine-tuning yang dilatih dengan Wojood atau label Anda sendiri bisa lebih murah dan lebih konsisten daripada LLM mana pun; selisih yang dipublikasikan di atas adalah alasan untuk mengeceknya.
