BroadRouter

LLM으로 아랍어 개체명 추출하기: JSON, 날짜, 검증

BroadNet Inference 팀 · 7분 분량 · 게시

모델에게 각 개체를 원문에 적힌 그대로, 고정된 목록의 유형과 함께 JSON으로 옮겨 적게 하세요. 그리고 모든 개체를 코드로 확인하세요. 발음 부호를 지우고 알리프 형태를 통일한 원문에 반드시 있어야 합니다. 히즈라력 날짜는 모델이 아니라 hijridate 같은 라이브러리로 변환하세요. 직접 라벨링한 샘플로 개체 단위 정밀도, 재현율, F1을 측정하세요.

개체명 추출은 문단을 코드가 쓸 수 있는 레코드로 바꿉니다. 누가, 어느 기관이, 어디서, 언제인지입니다. 아랍어에는 영어 파이프라인이 거의 겪지 않는 문제가 네 가지 더 있습니다. 선택적인 발음 부호, 같은 글자의 여러 철자, 라틴 문자로 쓴 이름(아라비지), 그리고 두 가지 달력의 날짜입니다. 이 글에서는 OpenAI 호환 LLM 위에 이 네 가지를 각각 코드로 처리하는 추출 단계를 만들고, 여러분의 텍스트에서 제대로 작동하는지 알려 주는 채점 스크립트도 만듭니다.

메시지에서 스팬을 뽑는 대신 메시지 전체를 분류하려면 아랍어 텍스트 분류를 참고하세요. JSON 요청 옵션 자체는 JSON 모드 vs json_schema에서 다룹니다.

LLM은 아랍어 NER을 얼마나 잘하나요?

저희가 찾은 가장 관련성 높은 공개 측정은 LAraBench(Abdelali et al., EACL 2024)입니다. GPT-3.5와 GPT-4로 아랍어 NER 데이터셋을 토큰 단위 태깅으로 돌렸습니다. 매크로 F1이며 높을수록 좋습니다.

데이터셋 GPT-3.5 제로샷 GPT-4 제로샷 GPT-4 3샷 인용된 파인튜닝 시스템
ANERcorp(뉴스) 0.210 0.355 0.420 0.886
AQMAR(위키백과) 0.230 0.365 0.390 0.690
QASR(전사본) 0.208 0.504 n/a 0.698

예시가 많을수록 도움이 되었습니다. ANERcorp에서 GPT-4는 예시가 없을 때 0.355였고 10개일 때 0.451로 올랐습니다. 저자들은 모델이 B-PER 대신 PER-B처럼 자기 형식으로 쓴 태그를 다시 매핑해야 했습니다.

이 결과는 조심해서 읽으세요. 2023년 모델이 벤치마크 라벨 세트로 엄격한 태깅 작업을 한 것입니다. 지원 티켓에서 사람과 회사를 짧은 목록으로 뽑으라는 요청을 받은 최신 모델은 훨씬 잘할 수도 있고, 아닐 수도 있습니다. 이 표에서 여전히 유효한 것은 두 가지입니다. LLM이 저절로 좋은 NER 시스템이 되지는 않는다는 것, 그리고 직접 측정해야 한다는 것입니다.

어떤 아랍어 NER 데이터셋이 있나요?

데이터셋 텍스트 크기와 라벨
ANERcorp 뉴스 약 150,000토큰. 인물, 장소, 기관, 기타. CAMeL Lab이 표준 학습/테스트 분할을 공개
CLEANANERCorp 수정된 ANERcorp 원본에서 발견된 주석 오류, 누락된 라벨, 불일치를 수정
AQMAR 아랍어 위키백과 문서 28개에서 74,000토큰
Wojood MSA와 방언 약 550,000토큰, 개체 유형 21개, 중첩 구조. WojoodNER 2023 공동 과제에 사용
CANERCorpus 고전 아랍어 하디스 하디스 7,000개 이상, 이슬람 관련 유형 20개

이 데이터셋은 프롬프트가 대략 맞는지 확인하는 데 쓰고, 합격 테스트로 쓰지는 마세요. 여러분의 개체 유형(고객, 제품, 지점, 계약 번호)은 이들과 다르고, 라이선스도 제각각입니다. 상업적으로 쓰기 전에 하나하나 확인하세요.

프롬프트에는 무엇을 요청해야 하나요?

다음 세 가지 규칙이 있어야 출력을 검증할 수 있습니다.

  1. 스팬을 정확히 옮겨 적게 하세요. 번역, 음역, 이름만 있는 것을 전체 이름으로 “채워 넣기”는 금지입니다. 영어 철자가 필요하면 별도 필드로 요청하고 검증되지 않은 값으로 취급하세요.
  2. 닫힌 유형 목록. PERSON, ORG, LOCATION, DATE 또는 직접 정한 세트. 자유 형식 유형은 채점할 수 없습니다.
  3. 날짜는 변환하지 말고 부분으로. 적힌 그대로의 연, 월, 일과 달력 종류를 요청하세요. 끝에 붙은 هـ는 히즈라력, م는 양력을 뜻합니다.

지시문은 영어로 써도 아랍어로 써도 됩니다. 장단점은 아랍어 프롬프트 엔지니어링에서 다룹니다. JSON 형태는 시스템 프롬프트에 넣고, 캐시될 수 있도록 요청마다 똑같이 유지하세요.

개체를 원문과 어떻게 대조하나요?

모델은 텍스트에 한 번도 나오지 않은 이름을 돌려줄 수도 있고, 이름은 제대로 옮겼지만 발음 부호를 빼먹을 수도 있습니다. 단순한 부분 문자열 검사로는 이 둘을 구별할 수 없습니다. 먼저 양쪽을 정규화하세요. 타쉬킬과 타트윌을 지우고, 알리프 형태를 통일하고, عبد ال을 붙여 عبد الله가 عبدالله와 일치하게 하세요. 규칙은 검색용 아랍어 텍스트 정규화와 같으며, 대조에만 적용합니다. 화면 표시에는 원래 스팬을 유지하세요.

import json, os, re
from hijridate import Hijri
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

TYPES = {"PERSON", "ORG", "LOCATION", "DATE"}
SYSTEM = """Extract named entities from the Arabic text. Reply with JSON only:
{"entities": [{"text": "...", "type": "PERSON|ORG|LOCATION|DATE"}],
 "dates": [{"text": "...", "calendar": "hijri|gregorian", "year": 0, "month": 0, "day": 0}]}
Rules: copy "text" exactly as it appears in the input, including any diacritics.
Do not translate, transliterate or complete names. A date followed by هـ is Hijri.
If there are no entities, return empty lists."""

DIACRITICS = re.compile(r"[ً-ٰٟـ]")   # tashkeel, dagger alef, tatweel
def norm(s: str) -> str:
    s = DIACRITICS.sub("", s)
    s = re.sub("[إأآٱ]", "ا", s).replace("ى", "ي").replace("عبد ال", "عبدال")
    return " ".join(s.split())

def validate(source: str, data: dict) -> tuple[list, list]:
    """Keep entities that really occur in the source; report everything else."""
    src, kept, problems = norm(source), [], []
    for e in data.get("entities", []):
        if e.get("type") not in TYPES:
            problems.append(f"unknown type: {e}")
        elif norm(e.get("text", "")) not in src:
            problems.append(f"not in source: {e['text']}")
        else:
            kept.append(e)
    for d in data.get("dates", []):
        if d.get("calendar") == "hijri":
            try:
                d["iso"] = Hijri(d["year"], d["month"], d["day"]).to_gregorian().isoformat()
            except (ValueError, OverflowError) as err:
                problems.append(f"bad Hijri date {d['text']}: {err}")
    return kept, problems

def extract(text: str, model="broadnet/qwen3.8-27b") -> dict:
    r = client.chat.completions.create(
        model=model, max_tokens=2000,
        messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
    data = json.loads(r.choices[0].message.content)
    data["entities"], data["problems"] = validate(text, data)
    return data

text = "التقى خالِد بن سَعِيد مديرةَ شركة النخيل للتقنية في جدة يوم ١٥ جمادى الآخرة ١٤٤٥هـ."
print(json.dumps(extract(text), ensure_ascii=False, indent=1))

저희는 이 코드를 로컬 모의 서버에서 돌렸습니다(실제 API 호출 없음). 모의 서버의 미리 정해진 응답에는 지어낸 인물 한 명과 불가능한 날짜(13월) 하나가 들어 있었습니다. 출력은 خالد بن سعيد(응답에서 발음 부호가 빠졌지만 정규화한 대조로 여전히 찾아냄), شركة النخيل للتقنية, جدة를 유지했습니다. ١٥ جمادى الآخرة ١٤٤٥هـ를 2023-12-28로 변환했고, 문제 두 개를 기록했습니다. 지어낸 이름은 “not in source”(원문에 없음), 13월은 “month must be in 1-12”(월은 1~12여야 함)였습니다. 이름과 회사는 가상입니다.

코드에 대한 메모입니다.

  • **max_tokens=2000**은 추론할 여유를 남겨 둡니다. BroadNet 문서에 따르면 DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답하기 전에 추론하고, 그 추론도 max_tokens에 포함됩니다. 추론 모델의 빈 응답을 참고하세요.
  • json.loads는 실패할 수 있습니다. 감싸 두고, 실패하면 복구 루프처럼 오류를 넣어 한 번 다시 보내세요. BroadNet이 구조화된 출력을 지원한다고 문서화한 GLM 5.3과 Qwen3.8 27B에서는 response_format 스키마도 추가하세요. 어느 경우든 검증은 그대로 둡니다.
  • 부분 문자열 대조는 일부러 느슨하게 했습니다. 스팬이 존재하는지만 확인하고 유형은 확인하지 않습니다. 유형은 아래 채점 단계에서 측정합니다.

히즈라력 날짜는 어떻게 처리하나요?

아랍어 텍스트는 날짜를 여러 방식으로 씁니다. ١٥/٦/١٤٤٥هـ, ١٥ جمادى الآخرة ١٤٤٥, 또는 지역마다 월 이름이 다른 양력 날짜(이집트와 걸프에서는 نوفمبر, 레반트에서는 تشرين الثاني)입니다. 모델은 대개 이를 부분으로 나눌 수 있고, 코드가 그 부분을 확인합니다. 달력 간 변환은 공개된 표를 이용한 산술이므로, 모델이 이를 맞힐 이유가 없습니다.

이전 이름이 hijri-converter인 hijridate는 움 알쿠라 달력으로 변환합니다. 문서상 범위는 히즈라력 13431500년(서기 1924년 8월 1일2077년 11월 16일)입니다. 범위를 벗어나면 OverflowError를, 잘못된 월이나 일은 ValueError를 일으키므로 코드에서 둘 다 잡습니다. 문서에 따르면 초승달 관측을 우선하는 종교적 용도를 위한 것이 아니므로, 관측으로 정한 날짜는 변환값과 다를 수 있습니다. 적힌 그대로의 날짜를 변환한 날짜 옆에 함께 저장하세요.

동아랍 숫자는 여기서 특별히 처리할 필요가 없습니다. 모델이 정수를 돌려주기 때문입니다. 날짜를 직접 파싱한다면 먼저 ٠١٢٣٤٥٦٧٨٩(그리고 페르시아 숫자 ۰–۹)를 0–9로 바꾸세요.

아라비지와 섞인 텍스트의 이름은 어떻게 하나요?

고객 메시지는 이름을 라틴 문자로 쓰는 경우가 많습니다. “ana 7a2ool la Mo7ammad bokra”(번역: 내일 무함마드에게 말할게) 같은 식입니다. 정확한 스팬 규칙은 여전히 통합니다. 개체 텍스트는 “Mo7ammad”이고 부분 문자열 검사도 통과합니다. 실패하는 것은 이 레코드를 CRM의 محمد와 연결하는 일입니다. 이는 두 번째 단계에서 하세요. 아라비지 처리하기처럼 스팬을 아랍 문자로 바꾼 다음, 같은 정규화로 레코드와 대조하세요. 변환을 거친 레코드에는 신뢰도 플래그를 붙여 두세요.

아랍어 문장 속 영어 회사 이름, 그리고 아랍어 이름의 라틴 문자 표기(Mohammed, Muhammad, Mohamed)에도 똑같이 적용됩니다. 추출 단계에서 철자 하나를 고르게 하지 마세요.

추출기는 어떻게 채점하나요?

같은 유형 목록으로 실제 샘플 100~200개를 직접 라벨링하세요. 그다음 정규화한 텍스트와 유형 기준의 개체 단위 완전 일치로 예측을 비교하고, 유형별 정밀도, 재현율, F1을 기록하세요.

from collections import Counter

def score(gold: list[list[dict]], pred: list[list[dict]]) -> dict:
    """Entity-level exact match on (normalised text, type), micro-averaged, plus per type."""
    tp, fp, fn = Counter(), Counter(), Counter()
    for g, p in zip(gold, pred):
        G = Counter((norm(e["text"]), e["type"]) for e in g)
        P = Counter((norm(e["text"]), e["type"]) for e in p)
        for (t, ty), n in (G | P).items():
            hit = min(G[(t, ty)], P[(t, ty)])
            tp[ty] += hit; fp[ty] += P[(t, ty)] - hit; fn[ty] += G[(t, ty)] - hit
    def prf(a, b, c):
        p = a / (a + b) if a + b else 0.0
        r = a / (a + c) if a + c else 0.0
        return {"p": round(p, 3), "r": round(r, 3), "f1": round(2 * p * r / (p + r), 3) if p + r else 0.0}
    out = {ty: prf(tp[ty], fp[ty], fn[ty]) for ty in sorted(tp | fp | fn)}
    out["micro"] = prf(sum(tp.values()), sum(fp.values()), sum(fn.values()))
    return out

두 문장짜리 연습 세트(정답 개체 3개, 예측은 جدة를 LOCATION이 아닌 ORG로 분류하고 장소 하나를 더 추가)에서 마이크로 정밀도 0.5, 재현율 0.667, F1 0.571, LOCATION F1 0이 나왔습니다. 유형별로 보면 어디에 힘을 써야 하는지 알 수 있습니다. ORG 점수가 낮다면 대개 더 큰 모델이 아니라 유형 정의에 예시가 필요하다는 뜻입니다.

무엇을 일치로 볼지 미리 정하세요. 완전 일치는 엄격합니다. 정답 “شركة النخيل للتقنية”에 대해 “شركة النخيل”은 거짓 양성 하나와 거짓 음성 하나로 계산됩니다. 용도상 부분 스팬도 괜찮다면 겹침 기반 점수를 두 번째로 보고하되, 대표 수치는 엄격한 점수로 유지하세요.

어떤 BroadNet 모델을 써야 하나요?

모든 가격은 BroadNet 가격 페이지 기준, 100만 토큰당입니다.

모델 이유 입력 / 출력
Qwen3.8 27B 구조화된 출력 문서화. BroadNet은 걸프와 이집트 방언 이해를 포함해 아랍어로 테스트했다고 밝힘. 이미지 읽기 가능 $0.175 / $2.17
GLM 5.3 구조화된 출력 문서화. 아주 긴 문서를 위한 1,048,576토큰 컨텍스트 $0.78 / $3.46
Gemma 4 VL 26B $5 초기 크레딧으로 실행 가능. 구조화된 출력이 문서화되지 않았으므로 프롬프트만으로 받은 JSON을 검증할 것. 32,768토큰 컨텍스트 $0.10 / $0.22

후보마다 내 샘플로 채점 스크립트를 돌리고, 업체 설명이 아니라 유형별 F1과 비용을 보고 고르세요. 같은 내용이라도 아랍어는 대개 영어보다 토큰이 많이 듭니다. 측정한 비율은 아랍어 단어당 토큰 수에 있습니다. 스캔한 양식이나 사진 속 개체는 비전으로 아랍어 청구서 읽기처럼 이미지에서 바로 추출하세요.

BroadNet Inference의 역할

BroadRouter는 BroadNet의 자체 사이트입니다. BroadNet Inference는 키 하나로 위 모델들에 OpenAI 호환 방식으로 접근할 수 있게 해 주므로, base URL만 바꾸면 코드가 OpenAI Python SDK로 실행됩니다. 문서에 따르면 프롬프트와 답변은 요청이 끝난 뒤 보관되지 않습니다. 텍스트에 사람 이름이 가득할 때 중요한 점입니다. 전용 NER 엔드포인트는 없고 자체 아랍어 NER 벤치마크도 공개하지 않으므로, 여러분의 데이터로 측정하세요. 대량 처리용으로 직접 호스팅하는 태거가 필요하다면, Wojood나 직접 만든 라벨로 파인튜닝한 모델이 어떤 LLM보다 저렴하고 일관적일 수 있습니다. 위에서 본 공개된 격차가 확인해 봐야 하는 이유입니다.

자주 묻는 질문

LLM으로 아랍어 개체명 인식을 할 수 있나요?

네, 검증을 곁들인다면 가능합니다. 토큰 단위 아랍어 NER에서 공개된 제로샷 결과는 파인튜닝한 모델에 크게 뒤처지므로, 모든 개체를 원문과 대조하고 실제로 쓰기 전에 내 데이터를 라벨링한 샘플로 모델을 채점하세요.

발음 부호가 있는 아랍어 이름과 없는 이름은 어떻게 대조하나요?

비교하기 전에 양쪽을 정규화하세요. 타쉬킬(U+064B~U+065F), 단검 알리프, 타트윌을 지우고, إ أ آ ٱ를 ا로, ى를 ي로 바꾸고, 공백을 하나로 합치세요. 화면 표시에는 원문을 그대로 쓰고, 정규화한 형태는 대조에만 쓰세요.

파이썬에서 히즈라력 날짜를 양력으로 어떻게 변환하나요?

hijridate(이전 이름 hijri-converter)를 쓰세요. Hijri(1445, 6, 15).to_gregorian()은 2023-12-28을 반환합니다. 움 알쿠라 달력을 따르고, 히즈라력 1343~1500년을 지원하며, 초승달 관측으로 정하는 종교적 날짜에는 맞지 않습니다.

어떤 아랍어 NER 데이터셋으로 테스트할 수 있나요?

ANERcorp(뉴스, 약 150,000토큰, 유형 4개), AQMAR(위키백과 74,000토큰), Wojood(MSA와 방언 약 550,000토큰, 중첩 유형 21개), CANERCorpus(고전 아랍어 하디스, 유형 20개)가 있습니다. 각각의 라이선스를 확인하고, 라벨을 내 라벨에 맞게 매핑하세요.

모델이 이름을 번역하거나 음역해야 하나요?

추출 단계에서는 아닙니다. 검증할 수 있도록 원문의 스팬을 정확히 요청하세요. 라틴 문자 표기가 필요하면 별도 필드로 추가하고, 검증되지 않은 값으로 취급하세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기