Bir sözleşmeden veya haber metninden her kişiyi, şirketi ve yeri, her biri için bir türle birlikte çıkarın. İşte NER budur ve bir LLM’e verilen en yaygın işlerden biridir.
Nasıl çalışır
Klasik kıyaslama testi CoNLL-2003 ortak görevidir. İngilizce Reuters haberleri ve Almanca Frankfurter Rundschau metinleri, dört tür (kişiler için PER, ORG, LOC ve “names of miscellaneous entities that do not belong to the previous three groups” (çeviri: önceki üç gruba girmeyen çeşitli varlıkların adları) için MISC) ve IOB etiketleri kullanmıştır: her kelime bir türün B- veya I- etiketini ya da dışarıda anlamına gelen O etiketini alır. Puanlama varlıklar üzerinden F1’dir ve bir varlık yalnızca referansla tam olarak eşleşirse sayılır.
IOB biçiminde Arapça bir örnek:
| Token | Etiket |
|---|---|
| زار | O |
| خالد | B-PER |
| العتيبي | I-PER |
| مدينة | O |
| الرياض | B-LOC |
(“Halid el-Uteybi Riyad şehrini ziyaret etti.”)
Arapçanın kendi veri setleri var. Yassine Benajiba’nın oluşturduğu ve 2008’den beri standart bir referans olan ANERcorp, haber ajansı metinlerinden oluşur; CAMeL Lab’in üzerinde uzlaşılmış bölümünde CC BY-SA 4.0 lisansıyla 125.102 eğitim kelimesi ve 25.008 test kelimesi vardır. Wojood (Jarrar ve ark., 2022) yaklaşık 550 bin token MSA ve lehçe metni, 21 varlık türü ve yaklaşık 75 bin varlık içerir; bunların %22,5’i iç içedir. AraBERT tabanlı modeli 0,884 mikro F1 puanı almıştır.
LLM’lerde yaygın kurgu farklıdır: token başına etiket değil, bir liste istersiniz.
{"entities": [
{"text": "خالد العتيبي", "type": "PERSON"},
{"text": "الرياض", "type": "LOCATION"}
]}
Neden önemli
NER arama filtrelerini, CRM kayıtlarını, PII maskelemeyi ve bilgi grafiklerini besler. LLM ile başlıca riskler şunlardır:
- Uydurulmuş veya düzenlenmiş varlıklar. Bir model metinde olmayan bir ad döndürebilir ya da adın yazımını “düzeltebilir”. Her iki tarafa da Arapça metin normalizasyonu uyguladıktan sonra her varlığın kaynakta geçtiğini kontrol edin. Bu bir tür halüsinasyon kontrolüdür.
- Etiket kayması. Tür listesini bir şemada sabitleyin ki model yeni bir tür uyduramasın.
- Kıyaslama testleri sizin veriniz değildir. Herkese açık etiketler nadiren sizinkilerle örtüşür. Her eval çalışmasında olduğu gibi bir örneklemi elle etiketleyin ve precision, recall ve F1 puanlayın.
BroadNet Inference’ta
BroadNet’in bir NER uç noktası yoktur; NER’i POST /v1/chat/completions üzerine kurarsınız. BroadNet’in API referansı, GLM 5.3 ve Qwen3.8 27B için yapılandırılmış çıktıyı belgeler; modeli bir varlık listesine ve sabit bir tür kümesine bu şekilde bağlarsınız. Görsel olarak gelen belgeler için Qwen3.8 27B görsel girdi de kabul eder.
BroadNet modelleri için bir NER kıyaslama sonucu yayımlamaz. Arapça varlık ismi çıkarımı yazısında bir istem, harekeleri yok sayan metin aralığı kontrolleri, Hicri tarih işleme ve kendi örnekleminizde çalıştırabileceğiniz bir puanlama betiği bulunur.