LLM API로 아랍어 제품을 만든다면 청구액은 단어가 아니라 토큰으로 계산됩니다. 그리고 같은 메시지를 아랍어로 쓰면 영어 번역문보다 토큰이 더 많아지는 경우가 많습니다. 이는 비용, 컨텍스트 한도, 지연 시간에 영향을 줍니다. 이 글에서는 왜 그런지, “단어당 토큰 수”가 왜 오해를 부르는 숫자인지, 그리고 내가 쓰는 모델에서 내 콘텐츠의 실제 비율을 어떻게 측정하는지 설명합니다.
아랍어는 토큰이 얼마나 더 필요한가요? 측정 수치
각 모델의 실제 토크나이저로 병렬 텍스트(영어와 아랍어로 쓴 같은 뜻)를 측정했습니다. 전체 표, 95% 구간, 방법론은 무료 토크나이저 효율 데이터셋(CSV와 JSON, CC BY 4.0, 버전 4, 2026-11-15 측정)에 있습니다.
| 토크나이저 | 아랍어 ÷ 영어, 현대 표준(FLORES-200 문장 2,009개) | 아랍어 ÷ 영어, 걸프 방언(Tatoeba 문장 49개) |
|---|---|---|
| Qwen3.8 27B | 1.31× | 1.21× |
| GPT (o200k) | 1.38× | 1.32× |
| Gemma 4 VL 26B | 1.47× | 1.22× |
| DeepSeek V4.1 Flash | 1.62× | 1.44× |
| GLM 5.3 | 1.77× | 1.57× |
영어 산문(Wikipedia와 Project Gutenberg)은 다섯 토크나이저에서 100단어당 약 127~132 토큰이었습니다. 현대 표준 아랍어 비율은 두 언어로 된 같은 FLORES-200 문장 2,009개(영어 Wikimedia 문서에서 가져와 전문 번역한 격식체 뉴스, 여행, 백과사전 텍스트)에서 나왔습니다. FLORES-200에는 걸프 아랍어가 없으므로 걸프 열은 짧은 Tatoeba 문장 쌍 49개를 썼고 정밀도가 훨씬 낮습니다. 데이터셋 페이지에 모든 수치의 구간이 나와 있습니다. 어느 것도 내 트래픽이 아니므로, 비율은 계획에 쓰고 예산을 잡기 전에 내 콘텐츠로 측정하세요. 아랍어 토큰 계산기는 붙여 넣은 텍스트를 토크나이저별로 세어 주고, 토큰-단어 변환기는 양방향으로 변환해 줍니다.
이 비율을 돈으로 바꾸려면 언어별 실제 비용 데이터셋을 보세요. 측정한 토크나이저와 연결할 수 있는 모든 모델에 대해, 제공업체별로 언어마다 100만 자의 가격을 계산해 두었습니다. 토큰당 가격이 더 싸다고 아랍어 청구액이 항상 더 싼 것은 아닙니다.
토크나이저는 무엇을 하나요?
모델이 텍스트를 보기 전에, 토크나이저가 텍스트를 고정된 어휘집에서 가져온 토큰으로 나눕니다. 대부분의 최신 토크나이저는 Hugging Face의 토크나이저 요약에 설명된 바이트 페어 인코딩(BPE), WordPiece, SentencePiece 같은 서브워드 방식을 씁니다. 학습 데이터에 자주 나오는 문자열은 토큰 하나가 되고, 드문 문자열은 필요하면 단일 바이트까지 더 작은 조각으로 쪼개집니다.
어휘집은 학습 코퍼스에서 배웁니다. 코퍼스에서 비중이 큰 언어일수록 가장 효율적으로 인코딩됩니다. 모델 계열마다 자체 토크나이저가 있으므로, DeepSeek, Qwen, GLM, Gemma 모델은 같은 아랍어 문장을 꽤 다른 수의 토큰으로 나눌 수 있습니다.
아랍어는 왜 토큰을 더 많이 쓰는 경우가 많나요?
1. 학습 데이터 불균형
많은 토크나이저는 영어 비중이 크게 높은 텍스트로 학습되었습니다. 흔한 영어 단어는 각각 토큰 하나가 되지만, 흔한 아랍어 단어 상당수는 여러 조각으로 나뉩니다. Petrov et al.(2023)은 많은 토크나이저와 언어에서 이를 측정했고, 같은 내용에 필요한 토큰 수에 큰 차이가 있으며 영어가 보통 가장 저렴한 축에 든다는 것을 확인했습니다. Ahia et al.(2023)은 상용 API에서 비슷한 결론에 도달했고, 언어마다 사용자가 내는 비용에 직접 영향을 준다고 지적했습니다.
2. 아랍어 형태론
아랍어는 접속사, 전치사, 관사, 대명사를 단어에 바로 붙입니다. 쓰인 단어 하나가 영어로는 여러 단어에 걸친 내용을 담을 수 있습니다.
| 아랍어 | 대략적인 영어 |
|---|---|
| وسيكتبونها | and they will write it |
| بالمدرسة | in the school |
| فقلنا | so we said |
특정 조합을 충분히 보지 못한 토크나이저는 이를 조각으로 나눕니다. 그러면 의미당 토큰은 적당해도 단어당 토큰은 늘어납니다.
3. 문자 세부 사항
발음 구별 기호(타슈킬), 타트윌(늘임 문자), 여러 형태의 알리프와 함자, 아랍-인도 숫자는 모두 토크나이저가 인코딩해야 하는 추가 문자나 변형입니다. 아랍어와 라틴 문자가 섞인 텍스트, 그리고 아라비지(라틴 문자와 숫자로 쓴 아랍어)도 예상 밖의 방식으로 나뉠 수 있습니다. LLM이 아라비지를 처리하는 방식을 참고하세요.
단어당 토큰 수는 왜 잘못된 지표인가요?
아랍어 단어 하나가 영어 단어 여러 개에 해당하는 경우가 많아서, “아랍어는 단어당 N 토큰”과 “영어는 단어당 M 토큰”은 비교할 수 없습니다. 더 공정한 질문은 이것입니다. 같은 내용이 각 언어에서 토큰을 얼마나 필요로 하는가? 두 언어로 쓴 같은 메시지, 즉 병렬 텍스트를 써서 전체 토큰을 비교하세요. 청구액을 바꾸는 것은 그 비율입니다.
자주 인용되는 OpenAI의 어림 규칙, 즉 토큰당 약 4글자 또는 단어의 4분의 3은 OpenAI 자사 토크나이저의 영어 기준입니다. 아랍어나 다른 모델 계열에는 적용되지 않으므로 아랍어 예산에 쓰지 마세요.
내 비율은 어떻게 측정하나요?
usage 필드가 기준이 되는 정답이며, 실제로 청구되는 값입니다. 이 스크립트는 병렬 텍스트를 모델로 보내고 usage.prompt_tokens를 읽습니다. 고정된 채팅 템플릿 오버헤드가 짧은 텍스트를 왜곡하지 않도록 기준값을 뺍니다. 무료 초기 크레딧으로 쓸 수 있고 추론을 하지 않는 Gemma 4 VL 26B를 쓰며, 실제로 쓸 모델로 바꿔 넣으면 됩니다.
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"
def prompt_tokens(text):
r = client.chat.completions.create(
model=MODEL, max_tokens=1,
messages=[{"role": "user", "content": text}],
)
return r.usage.prompt_tokens
baseline = prompt_tokens(".")
pairs = [
("Your order has shipped and will arrive on Thursday.",
"تم شحن طلبك وسيصل يوم الخميس."),
("Please send a photo of the invoice so we can check the total.",
"يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]
en_total = ar_total = 0
for en, ar in pairs:
en_t = prompt_tokens(en) - baseline
ar_t = prompt_tokens(ar) - baseline
en_total += en_t; ar_total += ar_t
print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")
print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")
믿을 수 있는 숫자를 얻으려면 다음과 같이 하세요.
- 지원 메시지, 제품 설명, 청구서 등 내 분야의 실제 쌍 50~200개를 쓰세요. 짧은 데모 문장은 편차가 큽니다.
- 사용자가 쓰는 방언을 쓰세요. 걸프, 이집트, 레반트 텍스트는 현대 표준 아랍어와 다르게 토큰화될 수 있습니다.
- 모델별로 실행하세요. 한 모델에서 측정한 비율은 다른 모델에 대해 거의 알려 주지 않습니다. 모델 중에서 고르는 중이라면 같은 쌍을 모델마다 돌리세요. 토큰 수만큼 중요한 품질은 아랍어용 LLM 선택에서 다룹니다.
- 출력도 측정하세요. 모델마다 아랍어와 영어로 답하게 하고
completion_tokens를 비교하세요. 모든 모델에서 출력은 입력보다 토큰당 비싸므로, 출력 비율이 더 중요할 수 있습니다.
모델의 토크나이저가 공개되어 있다면(예: Hugging Face) 그 토크나이저로 오프라인에서 토큰을 셀 수도 있습니다. 그래도 최종 기준은 API의 usage 필드입니다. 서버가 적용하는 채팅 템플릿까지 포함하기 때문입니다.
결과 읽기
모델마다 비율을 얻으면 흔히 세 가지 패턴이 보입니다.
- 1에 가까움. 토크나이저가 내 아랍어를 잘 처리합니다. 같은 내용이라면 아랍어와 영어 트래픽 비용이 비슷합니다.
- 1보다 확실히 큼. 아랍어 메시지당 비용이 더 듭니다. 예측과 컨텍스트 한도에 이를 반영하고, 비슷한 품질로 내 아랍어를 더 효율적으로 처리하는 다른 모델이 있는지 검토하세요.
- 샘플마다 크게 다름. 보통 콘텐츠가 섞여 있다는 신호입니다. 아랍어 메시지 안에 모음 부호가 붙은 텍스트, 아라비지, 숫자, URL, 코드가 들어 있는 경우입니다. 샘플을 유형별로 나눠 따로 측정하세요.
스크립트를 보관해 두고, 모델을 바꾸거나 제공업체가 모델 버전을 업데이트하면 다시 돌리세요. 토크나이저가 바뀌면 모든 수치가 바뀝니다.
비용과 컨텍스트에는 어떤 의미가 있나요?
비용은 토큰에 비례하므로, 아랍어 비율이 높으면 트래픽 중 아랍어 부분의 청구액이 같은 배수만큼 늘어납니다. BroadNet 가격 기준으로 Qwen3.8 27B의 아랍어 입력은 100만 토큰당 $0.175, 출력은 $2.17이고, Gemma 4 VL 26B는 입력 $0.10, 출력 $0.22입니다. 토큰당 가격은 어떤 언어든 같고, 토큰 수만 달라집니다. 측정한 비율을 월 비용 추정 방법에 넣어 보세요.
컨텍스트 한도도 같은 방식으로 줄어듭니다. Gemma 4 VL 26B는 요청당 32,768 토큰을 받으며, 긴 아랍어 문서는 영어 번역문보다 빨리 이를 채웁니다. DeepSeek V4.1 Flash와 GLM 5.3은 1,048,576 토큰을 받습니다.
아랍어 토큰 수는 어떻게 줄이나요?
- 일관되게 정규화하세요. 타트윌을 제거하고, 작업에 필요 없다면 발음 구별 기호도 제거하세요. 캐시가 계속 작동하도록 모든 요청에 같은 정규화를 적용하세요.
- 지시문을 짧게 유지하세요. 긴 시스템 프롬프트는 매 턴 다시 전송됩니다. 간결한 표현은 두 언어 모두에서 토큰을 아낍니다.
- 고정된 앞부분을 캐시하세요. 캐시 요금이 있는 모델에서는 반복되는 시스템 프롬프트와 문서가 훨씬 저렴합니다. 캐시의 작동 방식을 참고하세요.
- 간결한 답을 요청하세요. “두 문장으로 답하세요”가 어떤 토크나이저 요령보다 더 많이 아낍니다.
텍스트가 아니라 아랍어 음성이라면 전사는 토큰이 아니라 오디오 분당 가격이므로, 청구액의 그 부분에는 토큰화가 영향을 주지 않습니다. 아랍어 음성 인식 페이지를 참고하세요.
