BroadRouter

아랍어 발음 구별 기호(타슈킬, tashkeel)

업데이트

아랍어 발음 구별 기호, 즉 타슈킬(tashkeel)은 글자 위아래에 붙여 짧은 모음, 겹자음, 모음 없음을 나타내는 작은 기호입니다. 필수가 아니어서 뉴스를 포함한 대부분의 아랍어 텍스트는 이를 생략하며, 독자와 소프트웨어는 문맥으로 모음을 추론합니다.

다른 이름: 타슈킬, 타쉬킬, 하라카트, 아랍어 모음 부호, 아랍어 발음 기호, 아랍어 모음 표기, tashkeel, tashkil, harakat, diacritization, Arabic diacritization, diacritics, vowel marks

같은 아랍 글자 세 개가 “그가 썼다”, “책들”, “쓰였다”를 모두 뜻할 수 있습니다. 이를 구별해 주는 것이 발음 구별 기호인데, 대부분의 텍스트는 이를 생략합니다.

작동 방식

유니코드 표준은 이 기호들을 tashkil이라 부르며 “may be written as combining marks”(번역: 결합 기호로 쓸 수 있다)라고 한 뒤 “In normal writing, however, these marks are omitted.”(번역: 그러나 일반적인 글쓰기에서는 이 기호들이 생략된다)라고 덧붙입니다. 하라카트(harakat)는 그중 짧은 모음 기호만을 가리키는 이름입니다. 각 기호는 얹히는 글자 뒤에 오는 독립된 결합 문자입니다. 주요 기호는 U+064B~U+0652 범위에 있습니다.

코드 포인트 이름 역할
U+064E FATHA 짧은 a
U+064F DAMMA 짧은 u
U+0650 KASRA 짧은 i
U+064B~U+064D FATHATAN, DAMMATAN, KASRATAN 탄윈(-an, -un, -in 어미)
U+0651 SHADDA 겹자음
U+0652 SUKUN 모음 없음

기호 없는 단어 كتب로 예를 들어 보겠습니다.

  • كَتَبَ(kataba), “그가 썼다”
  • كُتُب(kutub), “책들”
  • كُتِبَ(kutiba), “쓰였다”

기호가 없으면 세 단어는 모두 같은 문자열입니다. 사람은 문장을 보고 뜻을 고릅니다. 소프트웨어도 같은 일을 해야 하며, 이것이 발음 구별 기호 복원기(diacritizer)의 역할입니다. Zerrouki와 Balla(2017)는 모음이 모두 표기된 텍스트가 드물고 복원기 학습에 이런 데이터가 필요하다는 이유로, 대부분 고전 아랍어로 된 약 7,560만 단어 규모의 Tashkeela 코퍼스를 만들었습니다. Fadel 외(2019)는 공개 벤치마크에서 기존 연구와 같거나 더 나은 신경망 복원 모델을 보고했고, 발음 구별 기호가 기계 번역에 도움이 될 수 있음을 보였습니다.

라이브러리는 이 기호들을 하나의 집합으로 다룹니다. CAMeL Tools의 AR_DIAC_CHARSET에는 U+064B~U+0652와 U+0670(위첨자 알리프)이 들어 있고, dediac_ar 함수가 이를 제거합니다.

왜 중요한가

  • 검색과 매칭. 같은 단어라도 기호를 붙여 입력하면 다른 문자열이 됩니다. 아랍어 텍스트 정규화 과정에서 검색 키의 기호를 지우지 않으면 정확 일치가 실패합니다.
  • 토큰. 기호 하나하나가 토크나이저에게는 추가 문자입니다. 모음을 모두 표기한 텍스트는 기호 없는 텍스트보다 토큰을 눈에 띄게 더 씁니다. 실측 비율은 발음 구별 기호 가이드에, 기준값은 아랍어 단어당 토큰 수에 있습니다.
  • 음성과 평가. 전사 결과는 보통 기호 없이 나옵니다. 양쪽 텍스트에서 발음 구별 기호를 지운 뒤 단어 오류율을 계산하세요. 그러지 않으면 파타(fatha) 하나가 더 붙은 올바른 단어도 오류로 셉니다.
  • 기호가 필요한 경우. 음성 합성(TTS), 언어 교육, 꾸란과 시 텍스트, 모음 없이는 모호한 이름 등입니다.

BroadNet Inference에서는

BroadNet에는 발음 구별 기호 전용 엔드포인트가 없습니다. 채팅 모델은 POST /v1/chat/completions로 타슈킬을 일반 텍스트로 받으므로, Qwen3.8 27B 같은 모델에 기호를 붙이거나 지워 달라고 요청할 수 있습니다. 안전한 방법은 응답을 코드로 검사하는 것입니다. 발음 구별 기호를 지운 뒤 입력과 한 글자씩 비교하세요. 프롬프트와 검사 코드는 LLM 발음 구별 기호 글에 있습니다.

기호를 지울 때는 모델을 아예 쓰지 마세요. U+064B~U+0652를 대상으로 한 짧은 정규식이 더 빠르고, 무료이며, 정확합니다. 아랍어 텍스트 정규화 도구에서 브라우저로 효과를 확인할 수 있습니다.

자주 묻는 질문

아랍어 텍스트를 인덱싱하기 전에 발음 구별 기호를 지워야 하나요?

키워드 검색이라면 대개 그렇습니다. 단, 검색 키에서만 지우세요. Tashkeela 저자들은 대부분의 검색 엔진이 발음 구별 기호를 무시한다고 설명합니다. 화면 표시용과 LLM 입력용으로는 원문을 그대로 두세요.

타슈킬을 붙인 아랍어는 왜 토큰이 더 드나요?

기호 하나하나가 별도의 유니코드 문자라서, 모음을 모두 표기한 단어는 토크나이저가 나눠야 할 문자가 더 많습니다. 타슈킬을 넣기 전과 후의 텍스트를 토큰 카운터로 직접 세어 보세요.

LLM이 발음 구별 기호를 믿을 만하게 붙일 수 있나요?

붙일 수는 있지만 글자 자체를 바꿔 버릴 때도 있습니다. 응답에서 기호를 지운 뒤 입력과 비교하고, 글자가 하나라도 바뀐 응답은 버리세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기