아랍어는 보통 짧은 모음 없이 씁니다. 사람은 문맥으로 모음을 채워 읽지만, 소프트웨어는 그러지 못하는 경우가 많습니다. 이 모음을 복원하는 작업을 발음 부호 처리(diacritization) 또는 타쉬킬(tashkeel)이라고 하며, 문장에 따라 كتب를 كَتَبَ(그가 썼다), كُتُبٌ(책들), كُتِبَ(쓰였다)로 바꿉니다. 이 글에서는 OpenAI 호환 API로 LLM을 호출해 이 작업을 하는 방법, 모델이 몰래 텍스트를 바꾸지 못하게 막는 방법, 그리고 결과를 전용 도구와 비교해 측정하는 방법을 다룹니다.
발음 부호는 언제 필요한가요?
- 텍스트 음성 변환(TTS). 음성은 단어를 발음하려면 모음이 필요합니다. CATT 논문은 발음 부호로 개선되는 응용 분야로 TTS와 기계 번역을 꼽습니다. BroadNet Inference에는 TTS 엔드포인트가 없으므로, TTS 파이프라인에서는 발음 부호를 넣은 텍스트를 별도 TTS 서비스로 보냅니다.
- 학습자와 어린이용 자료. 아직 배우는 독자는 부호에 의지합니다.
- 모호한 이름과 용어. 고유명사, 드문 단어, 전문 용어처럼 모음 하나가 틀리면 뜻이 바뀌는 경우입니다.
- 종교 문헌과 고전 텍스트. 여기서는 부호가 텍스트의 일부이므로, 자동 도구는 사람의 검토 아래 빈 곳만 채워야 합니다.
검색이나 검색 증강에는 보통 발음 부호가 필요 없습니다. 이 경우에는 검색을 위한 아랍어 텍스트 정규화에서처럼 오히려 지웁니다. 무료 아랍어 텍스트 정규화 도구가 브라우저에서 이 제거를 해 줍니다. 발음 부호 처리는 그 반대 작업이고 훨씬 어렵습니다. 부호를 지우는 것은 조회에 불과하지만, 넣는 것은 문법과 문맥이 필요합니다.
LLM은 발음 부호 처리를 얼마나 잘하나요?
공개된 수치 두 가지를 조심해서 읽어 보겠습니다.
| 시스템 | CATT 벤치마크, 격어미 포함 DER | 격어미 제외 DER | 격어미 포함 WER | 격어미 제외 WER |
|---|---|---|---|---|
| CATT 인코더-디코더 | 8.624% | 6.989% | 34.191% | 28.477% |
| CATT 인코더 전용 | 8.762% | 7.088% | 35.508% | 29.714% |
| GPT-4 (논문 본문 기준 GPT-4-turbo) | 9.515% | 8.113% | 38.311% | 33.505% |
| Command R+ | 13.169% | 11.329% | 48.518% | 44.158% |
| Shakkala | 13.494% | 10.386% | 50.387% | 40.643% |
| Mishkal | 16.482% | 10.796% | 60.844% | 40.215% |
출처: CATT 논문(2024)의 표 4. 낮을수록 좋습니다. 벤치마크는 2023년에 수집한 뉴스 문장 742개로, 원어민 전문가 두 명이 발음 부호를 넣고 세 번째 전문가가 검토했습니다.
논문의 두 번째 테스트 세트인 WikiNews(문장 400개)에서는 GPT-4가 다른 모든 시스템보다 훨씬 좋은 DER 0.551%를 기록했습니다. 저자들은 이 행에 표시를 하고, 모델이 학습 중에 WikiNews를 봤을 수 있다고 지적합니다. 이것이 LLM 벤치마크 전반에 대한 경고입니다. 공개 테스트 텍스트가 학습 데이터에 들어 있을 수 있습니다. CATT 저자들은 Tashkeela에 대해서도 같은 우려를 제기하는데, 이 코퍼스의 책들에는 꾸란과 하디스 인용이 많기 때문입니다.
Skiredj와 Berrada의 2024년 별도 논문은 Fadel 외 벤치마크에서 GPT-4의 DER을 약 20%, WER을 약 30%로 보고하지만, 위 표와 비교하는 데 필요한 세부 정보는 없습니다.
즉 GPT-4급 모델은 전용 도구에 근접할 수도 있고, 뒤처질 수도 있습니다. 두 논문 모두 지금 호출할 수 있는 오픈 모델보다 먼저 나왔습니다. 내 텍스트로 측정하세요.
어떤 테스트 세트가 있나요?
| 데이터셋 | 내용 |
|---|---|
| Tashkeela | 책 97권에서 뽑은, 모음 부호가 완전히 붙은 75,629,921단어. Shamela 라이브러리의 고전 아랍어 98.85%, 현대 표준 아랍어 1.15% |
| Fadel 외 벤치마크 | Tashkeela에서 추출한 약 230만 단어. 학습 50,000줄, 검증 2,500줄, 테스트 2,500줄 |
| CATT 벤치마크 | 사람이 발음 부호를 넣은 뉴스 문장 742개. CATT 모델과 함께 공개 |
| WikiNews | 사람이 발음 부호를 넣은 MSA 뉴스 문장 400개 |
Tashkeela와 Fadel 세트는 대부분 고전 아랍어입니다. 내 텍스트가 현대 비즈니스나 뉴스 아랍어라면 CATT와 WikiNews 세트가 더 가깝고, 내 텍스트에서 뽑은 샘플이 가장 가깝습니다.
글자를 그대로 두는 프롬프트는 무엇인가요?
모델이 할 일은 부호를 넣는 것뿐이고, 그 밖에는 아무것도 건드리면 안 됩니다. 하지만 LLM은 돕고 싶어 해서 الى를 إلى로 고치고, 끝의 ى를 ي로 바꾸고, 빠진 함자를 넣습니다. 각각은 올바른 아랍어일 수 있지만 철자 교정이지 발음 부호 처리가 아닙니다. 알리지도 않고 텍스트를 바꾸는 셈입니다.
그래서 프롬프트로 규칙을 밝히고, 코드로 강제합니다. 응답에서 발음 부호를 지우고, 발음 부호를 지운 입력과 비교합니다. 글자, 공백, 문장 부호가 하나라도 다르면 응답을 거부합니다.
import difflib, os, re, unicodedata
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MARKS = re.compile("[ً-ْٰ]") # tanween, harakat, shadda, sukun, dagger alef
SYSTEM = """Add full Arabic diacritics (tashkeel) to the user's text, including case endings.
Reply with the diacritized text only. Do not add, remove, reorder or replace any letter,
space, digit or punctuation mark. Do not fix spelling. Keep any diacritics already present."""
def skeleton(s: str) -> str:
"""The text with every diacritic removed: what the model is not allowed to change."""
return MARKS.sub("", unicodedata.normalize("NFC", s))
def diacritize(text: str, model: str = "broadnet/qwen3.8-27b", tries: int = 2) -> str | None:
for attempt in range(tries):
r = client.chat.completions.create(
model=model, max_tokens=4000, temperature=0,
messages=[{"role": "system", "content": SYSTEM}, {"role": "user", "content": text}])
out = unicodedata.normalize("NFC", (r.choices[0].message.content or "").strip())
if skeleton(out) == skeleton(text):
return out
diff = [d for d in difflib.ndiff(skeleton(text).split(), skeleton(out).split()) if d[0] in "+-"]
print(f"attempt {attempt + 1}: letters changed {diff}")
return None # keep the undiacritized text; never ship a changed sentence
for line in ["ذهب الطالب الى المدرسة", "قرأ محمد الكتاب"]:
print(diacritize(line))
이 코드는 실제 API가 아니라 로컬 목(mock) 서버를 상대로 실행했습니다. 첫 문장에 대한 미리 준비된 응답은 두 번 모두 الى를 إلى로 “고쳤고”, 두 번째 문장의 응답은 깨끗했습니다. 출력은 다음과 같았습니다.
attempt 1: letters changed ['- الى', '+ إلى']
attempt 2: letters changed ['- الى', '+ إلى']
None
قَرَأَ مُحَمَّدٌ الْكِتَابَ
코드에 대한 메모:
- 먼저 유니코드 NFC. 함자는 미리 조합된 문자 하나(أ)로 올 수도 있고, 글자에 결합 부호가 붙은 형태로 올 수도 있습니다. 비교 전에 NFC로 양쪽을 같게 만듭니다. 이 함정은 정규화 글에서 자세히 다룹니다.
max_tokens=4000. BroadNet 문서에 따르면 DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답하기 전에 추론하며, 추론도max_tokens에 포함됩니다. 한도가 너무 작으면 빈 응답이 오고, 검사에서 거부됩니다. 여유를 두거나reasoning_effort를 low로 설정하세요. 추론 모델의 빈 응답과 추론 토큰 예산 계산기를 참고하세요.- 이 검사는 “기존 발음 부호 유지”를 확인하지 않습니다. 입력에 발음 부호가 일부 들어 있다면 그 부호도 비교하세요.
- 철자는 별도의 결정입니다. الى를 고치고 싶다면 먼저 교정 단계를 돌린 뒤, 교정된 텍스트에 발음 부호를 넣으세요. 둘을 섞으면 어느 쪽도 검증할 수 없습니다.
- 긴 텍스트는 나누세요. 요청마다 문장 하나나 문단 하나를 보내세요. CATT 자체도 입력을 1,024자로 제한하고 긴 문장은 문장 부호에서 자릅니다. 같은 습관이 LLM 응답을 짧게, 재시도를 저렴하게 유지해 줍니다.
아랍어 프롬프트 작성에 대한 일반적인 조언, 모델에게 발음 부호를 넣지 말라고 해야 할 때 등은 아랍어 프롬프트 엔지니어링을 참고하세요.
발음 부호 처리는 어떻게 채점하나요: DER과 WER
발음 부호 오류율(DER) 은 발음 부호가 정답과 다른 글자의 비율입니다. 여기서 단어 오류율(WER) 은 틀린 발음 부호가 하나 이상 있는 단어의 비율입니다. 음성 인식 글의 WER과는 다릅니다. 삽입되거나 삭제된 단어가 아니라, 부호가 틀린 단어를 셉니다.
수치를 크게 바꾸는 설정이 두 가지 있습니다.
- 격어미 포함 여부. 단어의 마지막 글자는 문법적 격(이으랍, i’rab)을 나타내며, 이는 구문에 따라 달라집니다. 오류의 상당수가 격어미에서 나오므로 논문은 두 조건을 모두 보고합니다.
- 발음 부호 없는 글자를 셀지 여부. 어떤 스크립트는 맨 글자(الطالب의 알리프 등)를 “부호 없음”이라는 맞는 예측으로 세고, 어떤 스크립트는 건너뜁니다. Fadel 채점 스크립트에는 이를 위한 플래그가 있습니다.
공개된 스크립트들은 이 선택이 서로 다르므로, 같은 스크립트로 낸 수치끼리만 비교하세요. 다음 스크립트는 읽어 볼 만큼 짧습니다.
import re, unicodedata
MARK = re.compile("[ً-ْٰ]")
LETTER = re.compile("[ء-غف-ي]")
def letters(word: str) -> list[tuple[str, str]]:
"""(letter, its diacritics in a fixed order) for each Arabic letter in a word."""
out = []
for ch in unicodedata.normalize("NFC", word):
if LETTER.match(ch):
out.append([ch, ""])
elif MARK.match(ch) and out:
out[-1][1] += ch
return [(c, "".join(sorted(d))) for c, d in out]
def der_wer(gold: list[str], pred: list[str], case_ending=True, count_bare=True) -> dict:
"""DER: share of scored letters with the wrong diacritics. WER: share of words with any such letter.
case_ending=False skips each word's last letter. count_bare=False skips letters with no gold diacritic."""
errs = total = werr = words = 0
for g_line, p_line in zip(gold, pred):
for g, p in zip(g_line.split(), p_line.split()):
G, P = letters(g), letters(p)
if [c for c, _ in G] != [c for c, _ in P]:
raise ValueError(f"letters differ: {g} / {p}") # score only same-skeleton output
scored = [(gd, pd) for i, ((_, gd), (_, pd)) in enumerate(zip(G, P))
if (case_ending or i < len(G) - 1) and (count_bare or gd)]
if not scored:
continue
bad = sum(gd != pd for gd, pd in scored)
errs += bad; total += len(scored); werr += bad > 0; words += 1
return {"DER": round(100 * errs / total, 2), "WER": round(100 * werr / words, 2)}
gold = ["ذَهَبَ الطَّالِبُ إِلَى المَدْرَسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابَ"]
pred = ["ذَهَبَ الطَّالِبَ إِلَى المَدْرِسَةِ", "قَرَأَ مُحَمَّدٌ الكِتَابُ"]
for ce in (True, False):
print("with case endings" if ce else "without case endings", der_wer(gold, pred, case_ending=ce))
이 예시 예측에는 32글자, 7단어에 걸쳐 틀린 격어미 두 개와 틀린 내부 모음 하나가 있습니다. 격어미 포함 시 DER 9.38, WER 42.86, 제외 시 DER 4.0, WER 14.29가 출력됩니다. WER이 몇 안 되는 오류를 얼마나 키우는지 보세요. 부호 하나가 틀리면 단어 전체가 틀린 것이 됩니다.
이 스크립트는 글자가 바뀐 단어는 채점하지 않습니다. 의도한 것입니다. 글자를 고치는 도구는 과제에 실패한 것이고, 그 DER은 의미가 없습니다.
두 번째 확인으로, 규칙 기반 도구인 Mishkal 0.4.1을 저희가 직접 발음 부호를 넣은 16단어 문장 하나에 돌려 봤습니다. 오류 네 개는 모두 격어미였습니다. 예를 들어 مُحَمَّدٌ 대신 مُحَمَّدُ를 냈습니다. 점수는 격어미 포함 DER 5.88, 제외 시 0.0이었습니다. 문장 하나로 Mishkal에 대해 증명되는 것은 없습니다. 두 조건을 모두 보고해야 하는 이유를 보여 줄 뿐입니다.
테스트 세트를 만들려면 내 텍스트에서 문장 100~200개를 골라 원어민에게 발음 부호를 넣게 하고, 부호를 지운 뒤 후보마다 돌려 보세요. 사람이 만든 버전을 정답으로 보관하세요.
전용 도구가 LLM보다 나은 경우는 언제인가요?
| 선택 | 조건 |
|---|---|
| 전용 모델(CATT, libtashkeel, Mishkal) | 많은 물량, 정해진 텍스트 유형, 엄격한 지연 시간, 오프라인이나 온디바이스 사용, 또는 구조적으로 글자 그대로의 출력이 필요할 때 |
| API로 호출하는 LLM | 적거나 들쭉날쭉한 물량, 섞이거나 지저분한 입력, ML 운영 인력이 없는 팀, 또는 이미 다른 단계에서 LLM을 호출하는 파이프라인 |
전용 모델은 글자마다 부호를 예측하므로 텍스트를 다시 쓸 수 없습니다. CATT는 Apache 2.0이고 pip install catt-tashkeel로 설치합니다. README는 속도에는 인코더 전용 모델을, 정확도에는 인코더-디코더 모델을 권합니다. libtashkeel은 MIT이고 주로 MSA로 학습했습니다. Mishkal은 규칙 기반이고 GPL이라, 제품 안에 넣어 배포한다면 중요한 차이입니다.
LLM은 더 빨리 시작할 수 있고, 학습된 모델이 본 적 없는 입력, 즉 방언, 아랍어와 영어 혼용, 특이한 문장 부호에도 대응합니다. 다만 모든 응답에 위의 골격 검사가 필요하고, 토큰당 비용이 듭니다.
LLM 발음 부호 처리 비용은 얼마인가요?
발음 부호는 추가 문자이고, 토크나이저는 이를 추가 토큰으로 쪼갭니다. 2,500줄짜리 Fadel 테스트 세트(125,098단어)를 각 모델의 토크나이저로 맨 텍스트와 완전한 발음 부호 텍스트로 나눠 세어 봤습니다.
| 토크나이저 | 맨 텍스트 | 발음 부호 포함 | 비율 |
|---|---|---|---|
| Qwen3.8 27B | 196,987 | 407,144 | 2.07× |
| DeepSeek V4.1 Flash | 222,555 | 540,454 | 2.43× |
| Gemma 4 VL 26B | 208,769 | 508,758 | 2.44× |
| GLM 5.3 | 239,753 | 770,361 | 3.21× |
맨 텍스트에는 입력 토큰을, 발음 부호가 들어간 응답에는 출력 토큰을 내고, 추론이 있다면 그만큼 더 냅니다. 비싼 쪽은 출력입니다. BroadNet 가격 페이지 기준 100만 토큰당 Qwen3.8 27B $2.17, DeepSeek V4.1 Flash $0.52, GLM 5.3 $3.46, Gemma 4 VL 26B $0.22 입니다. 검사에 실패한 뒤의 재시도는 비용을 더합니다. 내 데이터에서 비율을 확인하려면 아랍어 토큰 카운터에 텍스트를 붙여 넣으세요. 애초에 아랍어에 토큰이 더 드는 이유는 아랍어와 영어의 단어당 토큰 수를 참고하세요.
대규모 아카이브를 한 번 처리하는 작업이라면, DeepSeek V4.1 Flash 플랜은 종량 과금 대신 세션당 정액(주당 $15, 시간당 $1)으로 바꿔 줍니다. 각 세션은 한 번에 요청 하나를 처리하므로, 배치 API 없이 하는 배치 처리처럼 실행 계획을 세우세요.
BroadNet Inference의 위치
BroadRouter는 BroadNet의 자체 사이트입니다. BroadNet Inference는 위의 채팅 모델 네 개를 OpenAI 호환 엔드포인트 하나로 제공하므로, base URL과 키만 설정하면 OpenAI Python SDK로 코드가 돌아갑니다. Gemma 4 VL 26B는 $5 상당의 초기 크레딧으로 쓸 수 있고, DeepSeek, GLM, Qwen은 충전이 필요합니다. BroadNet에는 발음 부호 처리 엔드포인트가 없고, 자체 발음 부호 벤치마크도 공개하지 않으며, TTS도 없습니다. 어느 모델이 내 텍스트에 발음 부호를 가장 잘 넣는지는 측정되지 않았습니다. 고르기 전에 내 샘플로 채점해 보세요. 요청 세부 사항은 API 레퍼런스를 참고하세요.
