---
title: "아랍어 vs 영어 단어당 토큰 수와 측정 방법 | BroadRouter"
description: "같은 뜻이라도 아랍어가 영어보다 LLM 토큰을 더 쓰는 이유, 단어당 토큰 수가 오해를 부르는 이유, usage 필드로 내 비율을 측정하는 스크립트를 정리했습니다."
url: https://broadrouter.com/ko/blog/tokens-per-word-arabic-english/
lang: ko
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/blog/tokens-per-word-arabic-english/) (2026-11-16 업데이트).

# 아랍어와 영어의 단어당 토큰 수: 아랍어가 더 비싼 이유

BroadNet Inference 팀 · 6분 분량 · 게시 2026-11-14 · 업데이트 2026-11-16

정해진 수치 하나는 없으며, 모델마다 토크나이저에 따라 다릅니다. BroadRouter의 측정 데이터셋에서 같은 현대 표준 아랍어 텍스트는 영어 번역문 토큰의 1.31×(Qwen3.8 27B)에서 1.77×(GLM 5.3)가 필요했고, 영어 산문 1,000단어는 평균 약 1,290 토큰이었습니다. 내 비율은 usage.prompt\_tokens로 측정하세요.

## 핵심 요약

-   단어당 토큰 수는 언어만이 아니라 모델별 토크나이저의 특성입니다.
-   여러 토크나이저를 다룬 연구에 따르면 같은 내용이 영어보다 아랍어에서 토큰이 더 많이 드는 경우가 많습니다.
-   단어당 토큰이 아니라 병렬 텍스트(두 언어로 쓴 같은 뜻)를 비교하세요. 아랍어 단어 하나가 영어 단어 여러 개의 뜻을 담을 수 있습니다.
-   실제로 쓸 모델에서 usage.prompt\_tokens로 측정하고, 메시지 오버헤드는 기준값을 빼서 제거하세요.
-   발음 구별 기호, 타트윌, 문자 혼용은 토큰 수를 바꿉니다. 입력을 일관되게 정규화하세요.

**이 페이지의 내용**

1.  아랍어는 토큰이 얼마나 더 필요한가요? 측정 수치
2.  토크나이저는 무엇을 하나요?
3.  아랍어는 왜 토큰을 더 많이 쓰는 경우가 많나요?
4.  단어당 토큰 수는 왜 잘못된 지표인가요?
5.  내 비율은 어떻게 측정하나요?
6.  비용과 컨텍스트에는 어떤 의미가 있나요?
7.  아랍어 토큰 수는 어떻게 줄이나요?

LLM API로 아랍어 제품을 만든다면 청구액은 단어가 아니라 토큰으로 계산됩니다. 그리고 같은 메시지를 아랍어로 쓰면 영어 번역문보다 토큰이 더 많아지는 경우가 많습니다. 이는 비용, 컨텍스트 한도, 지연 시간에 영향을 줍니다. 이 글에서는 왜 그런지, “단어당 토큰 수”가 왜 오해를 부르는 숫자인지, 그리고 내가 쓰는 모델에서 내 콘텐츠의 실제 비율을 어떻게 측정하는지 설명합니다.

## 아랍어는 토큰이 얼마나 더 필요한가요? 측정 수치

각 모델의 실제 토크나이저로 병렬 텍스트(영어와 아랍어로 쓴 같은 뜻)를 측정했습니다. 전체 표, 95% 구간, 방법론은 무료 [토크나이저 효율 데이터셋](https://broadrouter.com/data/tokenizer-efficiency/)(CSV와 JSON, CC BY 4.0, 버전 4, 2026-11-15 측정)에 있습니다.

| 토크나이저 | 아랍어 ÷ 영어, 현대 표준(FLORES-200 문장 2,009개) | 아랍어 ÷ 영어, 걸프 방언(Tatoeba 문장 49개) |
| --- | --- | --- |
| Qwen3.8 27B | 1.31× | 1.21× |
| GPT (o200k) | 1.38× | 1.32× |
| Gemma 4 VL 26B | 1.47× | 1.22× |
| DeepSeek V4.1 Flash | 1.62× | 1.44× |
| GLM 5.3 | 1.77× | 1.57× |

영어 산문(Wikipedia와 Project Gutenberg)은 다섯 토크나이저에서 100단어당 약 127~132 토큰이었습니다. 현대 표준 아랍어 비율은 두 언어로 된 같은 FLORES-200 문장 2,009개(영어 Wikimedia 문서에서 가져와 전문 번역한 격식체 뉴스, 여행, 백과사전 텍스트)에서 나왔습니다. FLORES-200에는 걸프 아랍어가 없으므로 걸프 열은 짧은 Tatoeba 문장 쌍 49개를 썼고 정밀도가 훨씬 낮습니다. 데이터셋 페이지에 모든 수치의 구간이 나와 있습니다. 어느 것도 내 트래픽이 아니므로, 비율은 계획에 쓰고 예산을 잡기 전에 내 콘텐츠로 측정하세요. [아랍어 토큰 계산기](https://broadrouter.com/tools/arabic-token-counter/)는 붙여 넣은 텍스트를 토크나이저별로 세어 주고, [토큰-단어 변환기](https://broadrouter.com/tools/tokens-to-words/)는 양방향으로 변환해 줍니다.

이 비율을 돈으로 바꾸려면 [언어별 실제 비용 데이터셋](https://broadrouter.com/data/real-cost-by-language/)을 보세요. 측정한 토크나이저와 연결할 수 있는 모든 모델에 대해, 제공업체별로 언어마다 100만 자의 가격을 계산해 두었습니다. 토큰당 가격이 더 싸다고 아랍어 청구액이 항상 더 싼 것은 아닙니다.

## 토크나이저는 무엇을 하나요?

모델이 텍스트를 보기 전에, 토크나이저가 텍스트를 고정된 어휘집에서 가져온 토큰으로 나눕니다. 대부분의 최신 토크나이저는 Hugging Face의 [토크나이저 요약](https://huggingface.co/docs/transformers/tokenizer_summary)에 설명된 바이트 페어 인코딩(BPE), WordPiece, SentencePiece 같은 서브워드 방식을 씁니다. 학습 데이터에 자주 나오는 문자열은 토큰 하나가 되고, 드문 문자열은 필요하면 단일 바이트까지 더 작은 조각으로 쪼개집니다.

어휘집은 학습 코퍼스에서 배웁니다. 코퍼스에서 비중이 큰 언어일수록 가장 효율적으로 인코딩됩니다. 모델 계열마다 자체 토크나이저가 있으므로, DeepSeek, Qwen, GLM, Gemma 모델은 같은 아랍어 문장을 꽤 다른 수의 토큰으로 나눌 수 있습니다.

## 아랍어는 왜 토큰을 더 많이 쓰는 경우가 많나요?

### 1\. 학습 데이터 불균형

많은 토크나이저는 영어 비중이 크게 높은 텍스트로 학습되었습니다. 흔한 영어 단어는 각각 토큰 하나가 되지만, 흔한 아랍어 단어 상당수는 여러 조각으로 나뉩니다. Petrov et al.(2023)은 많은 토크나이저와 언어에서 이를 측정했고, 같은 내용에 필요한 토큰 수에 큰 차이가 있으며 영어가 보통 가장 저렴한 축에 든다는 것을 확인했습니다. Ahia et al.(2023)은 상용 API에서 비슷한 결론에 도달했고, 언어마다 사용자가 내는 비용에 직접 영향을 준다고 지적했습니다.

### 2\. 아랍어 형태론

아랍어는 접속사, 전치사, 관사, 대명사를 단어에 바로 붙입니다. 쓰인 단어 하나가 영어로는 여러 단어에 걸친 내용을 담을 수 있습니다.

| 아랍어 | 대략적인 영어 |
| --- | --- |
| وسيكتبونها | and they will write it |
| بالمدرسة | in the school |
| فقلنا | so we said |

특정 조합을 충분히 보지 못한 토크나이저는 이를 조각으로 나눕니다. 그러면 **의미**당 토큰은 적당해도 **단어**당 토큰은 늘어납니다.

### 3\. 문자 세부 사항

발음 구별 기호(타슈킬), 타트윌(늘임 문자), 여러 형태의 알리프와 함자, 아랍-인도 숫자는 모두 토크나이저가 인코딩해야 하는 추가 문자나 변형입니다. 아랍어와 라틴 문자가 섞인 텍스트, 그리고 아라비지(라틴 문자와 숫자로 쓴 아랍어)도 예상 밖의 방식으로 나뉠 수 있습니다. [LLM이 아라비지를 처리하는 방식](https://broadrouter.com/ko/blog/arabizi-llm-handling/)을 참고하세요.

## 단어당 토큰 수는 왜 잘못된 지표인가요?

아랍어 단어 하나가 영어 단어 여러 개에 해당하는 경우가 많아서, “아랍어는 단어당 N 토큰”과 “영어는 단어당 M 토큰”은 비교할 수 없습니다. 더 공정한 질문은 이것입니다. **같은 내용이 각 언어에서 토큰을 얼마나 필요로 하는가?** 두 언어로 쓴 같은 메시지, 즉 병렬 텍스트를 써서 전체 토큰을 비교하세요. 청구액을 바꾸는 것은 그 비율입니다.

자주 인용되는 OpenAI의 어림 규칙, 즉 토큰당 약 4글자 또는 단어의 4분의 3은 OpenAI 자사 토크나이저의 영어 기준입니다. 아랍어나 다른 모델 계열에는 적용되지 않으므로 아랍어 예산에 쓰지 마세요.

## 내 비율은 어떻게 측정하나요?

usage 필드가 기준이 되는 정답이며, 실제로 청구되는 값입니다. 이 스크립트는 병렬 텍스트를 모델로 보내고 `usage.prompt_tokens`를 읽습니다. 고정된 채팅 템플릿 오버헤드가 짧은 텍스트를 왜곡하지 않도록 기준값을 뺍니다. 무료 초기 크레딧으로 쓸 수 있고 추론을 하지 않는 [Gemma 4 VL 26B](https://broadrouter.com/ko/models/gemma-4-vl-26b/)를 쓰며, 실제로 쓸 모델로 바꿔 넣으면 됩니다.

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"

def prompt_tokens(text):
    r = client.chat.completions.create(
        model=MODEL, max_tokens=1,
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

baseline = prompt_tokens(".")
pairs = [
    ("Your order has shipped and will arrive on Thursday.",
     "تم شحن طلبك وسيصل يوم الخميس."),
    ("Please send a photo of the invoice so we can check the total.",
     "يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]

en_total = ar_total = 0
for en, ar in pairs:
    en_t = prompt_tokens(en) - baseline
    ar_t = prompt_tokens(ar) - baseline
    en_total += en_t; ar_total += ar_t
    print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")

print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")
```

믿을 수 있는 숫자를 얻으려면 다음과 같이 하세요.

1.  지원 메시지, 제품 설명, 청구서 등 내 분야의 **실제 쌍 50~200개를 쓰세요.** 짧은 데모 문장은 편차가 큽니다.
2.  **사용자가 쓰는 방언을 쓰세요.** 걸프, 이집트, 레반트 텍스트는 현대 표준 아랍어와 다르게 토큰화될 수 있습니다.
3.  **모델별로 실행하세요.** 한 모델에서 측정한 비율은 다른 모델에 대해 거의 알려 주지 않습니다. 모델 중에서 고르는 중이라면 같은 쌍을 모델마다 돌리세요. 토큰 수만큼 중요한 품질은 [아랍어용 LLM 선택](https://broadrouter.com/ko/blog/choosing-an-llm-for-arabic/)에서 다룹니다.
4.  **출력도 측정하세요.** 모델마다 아랍어와 영어로 답하게 하고 `completion_tokens`를 비교하세요. 모든 모델에서 출력은 입력보다 토큰당 비싸므로, 출력 비율이 더 중요할 수 있습니다.

모델의 토크나이저가 공개되어 있다면(예: Hugging Face) 그 토크나이저로 오프라인에서 토큰을 셀 수도 있습니다. 그래도 최종 기준은 API의 usage 필드입니다. 서버가 적용하는 채팅 템플릿까지 포함하기 때문입니다.

### 결과 읽기

모델마다 비율을 얻으면 흔히 세 가지 패턴이 보입니다.

-   **1에 가까움.** 토크나이저가 내 아랍어를 잘 처리합니다. 같은 내용이라면 아랍어와 영어 트래픽 비용이 비슷합니다.
-   **1보다 확실히 큼.** 아랍어 메시지당 비용이 더 듭니다. 예측과 컨텍스트 한도에 이를 반영하고, 비슷한 품질로 내 아랍어를 더 효율적으로 처리하는 다른 모델이 있는지 검토하세요.
-   **샘플마다 크게 다름.** 보통 콘텐츠가 섞여 있다는 신호입니다. 아랍어 메시지 안에 모음 부호가 붙은 텍스트, 아라비지, 숫자, URL, 코드가 들어 있는 경우입니다. 샘플을 유형별로 나눠 따로 측정하세요.

스크립트를 보관해 두고, 모델을 바꾸거나 제공업체가 모델 버전을 업데이트하면 다시 돌리세요. 토크나이저가 바뀌면 모든 수치가 바뀝니다.

## 비용과 컨텍스트에는 어떤 의미가 있나요?

비용은 토큰에 비례하므로, 아랍어 비율이 높으면 트래픽 중 아랍어 부분의 청구액이 같은 배수만큼 늘어납니다. BroadNet 가격 기준으로 [Qwen3.8 27B](https://broadrouter.com/ko/models/qwen3.8-27b/)의 아랍어 입력은 100만 토큰당 $0.175, 출력은 $2.17이고, Gemma 4 VL 26B는 입력 $0.10, 출력 $0.22입니다. 토큰당 가격은 어떤 언어든 같고, 토큰 수만 달라집니다. 측정한 비율을 [월 비용 추정 방법](https://broadrouter.com/ko/blog/estimate-llm-api-cost-before-launch/)에 넣어 보세요.

컨텍스트 한도도 같은 방식으로 줄어듭니다. Gemma 4 VL 26B는 요청당 32,768 토큰을 받으며, 긴 아랍어 문서는 영어 번역문보다 빨리 이를 채웁니다. DeepSeek V4.1 Flash와 GLM 5.3은 1,048,576 토큰을 받습니다.

## 아랍어 토큰 수는 어떻게 줄이나요?

-   **일관되게 정규화하세요.** 타트윌을 제거하고, 작업에 필요 없다면 발음 구별 기호도 제거하세요. 캐시가 계속 작동하도록 모든 요청에 같은 정규화를 적용하세요.
-   **지시문을 짧게 유지하세요.** 긴 시스템 프롬프트는 매 턴 다시 전송됩니다. 간결한 표현은 두 언어 모두에서 토큰을 아낍니다.
-   **고정된 앞부분을 캐시하세요.** 캐시 요금이 있는 모델에서는 반복되는 시스템 프롬프트와 문서가 훨씬 저렴합니다. [캐시의 작동 방식](https://broadrouter.com/ko/blog/cached-input-tokens-explained/)을 참고하세요.
-   **간결한 답을 요청하세요.** “두 문장으로 답하세요”가 어떤 토크나이저 요령보다 더 많이 아낍니다.

텍스트가 아니라 아랍어 음성이라면 전사는 토큰이 아니라 오디오 분당 가격이므로, 청구액의 그 부분에는 토큰화가 영향을 주지 않습니다. [아랍어 음성 인식 페이지](https://broadrouter.com/ko/blog/arabic-speech-to-text-api-buyers-guide/)를 참고하세요.

관련 무료 도구 (영어)

-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [Prompt caching savings calculator](https://broadrouter.com/tools/prompt-caching-calculator/) Bill with and without caching, by prefix share and hit rate.
-   [Prompt token diff](https://broadrouter.com/tools/prompt-token-diff/) Two prompt versions side by side: changed lines, exact token delta and the monthly cost difference.

[무료 도구 (영어)](https://broadrouter.com/tools/)

## 이 글의 용어

[토크나이저(tokenizer)](https://broadrouter.com/ko/glossary/tokenizer/)

토크나이저(tokenizer)는 텍스트를 언어 모델이 읽는 정수 토큰 ID 시퀀스로 변환하고, 생성된 ID를 다시 텍스트로 바꾸는 구성 요소입니다. 모델마다 자체 토크나이저가 있으므로, 같은 텍스트도 모델에 따라 토큰 수가 달라질 수 있습니다.

[도구 호출(tool calling)](https://broadrouter.com/ko/glossary/tool-calling/)

도구 호출(tool calling)은 함수 호출(function calling)이라고도 하며, 모델이 개발자가 정의한 함수를 실행해 달라는 구조화된 요청을 JSON 인자와 함께 반환하는 LLM API 기능입니다. 함수는 애플리케이션이 실행하고 그 결과를 다시 보냅니다. 모델이 직접 코드를 실행하지는 않습니다.

[바이트 페어 인코딩(BPE)](https://broadrouter.com/ko/glossary/bpe/)

바이트 페어 인코딩(BPE)은 개별 문자나 바이트에서 시작해, 가장 자주 나란히 나오는 쌍을 새 어휘 항목으로 반복해서 병합하다가 목표 어휘 크기에 이르면 멈추는 서브워드 토큰화 알고리즘입니다. 현재 대부분의 LLM 토크나이저는 BPE나 그 바이트 수준 변형을 씁니다.

[아라비지(Arabizi)](https://broadrouter.com/ko/glossary/arabizi/)

아라비지(Arabizi)는 아랍어를 라틴 문자로 비공식적으로 적는 방식으로, ع를 3으로 쓰는 것처럼 라틴 문자에 없는 아랍어 소리를 숫자로 나타냅니다. 채팅과 소셜 미디어에서 흔하고, 대부분 방언이며, 표준 철자가 없고, 영어나 프랑스어와 섞이는 경우가 많습니다.

[현대 표준 아랍어(MSA, Modern Standard Arabic)](https://broadrouter.com/ko/glossary/msa/)

현대 표준 아랍어(MSA)는 아랍 세계 전역에서 글, 뉴스, 교육, 격식 있는 연설에 쓰는 표준화된 아랍어입니다. 누구도 일상 모국어로 쓰지 않습니다. 사람들은 이집트 아랍어나 걸프 아랍어 같은 지역 방언으로 말하고, 격식 있는 자리에서 MSA로 바꿉니다.

[아랍어 발음 구별 기호(타슈킬, tashkeel)](https://broadrouter.com/ko/glossary/arabic-diacritics/)

아랍어 발음 구별 기호, 즉 타슈킬(tashkeel)은 글자 위아래에 붙여 짧은 모음, 겹자음, 모음 없음을 나타내는 작은 기호입니다. 필수가 아니어서 뉴스를 포함한 대부분의 아랍어 텍스트는 이를 생략하며, 독자와 소프트웨어는 문맥으로 모음을 추론합니다.

[아랍어 텍스트 정규화(Arabic text normalization)](https://broadrouter.com/ko/glossary/arabic-text-normalization/)

아랍어 텍스트 정규화는 같은 단어의 여러 표기를 매칭 전에 하나의 형태로 바꾸는 단계입니다. 발음 구별 기호와 타트윌을 지우고, 알리프 형태를 통일하며, ى를 ي로, ة를 ه로 바꾸는 경우가 많습니다. 화면에 보여 줄 텍스트가 아니라 검색 키와 평가에 적용합니다.

[음성 인식(Speech-to-text, STT)](https://broadrouter.com/ko/glossary/speech-to-text/)

음성 인식(STT)은 자동 음성 인식(ASR)이라고도 하며, 말소리 오디오를 글로 변환하는 기술입니다. 음성 인식 API는 오디오 파일이나 스트림을 받아 전사 텍스트를 반환하며, 보통 오디오 분당 요금이 붙습니다. 정확도는 단어 오류율로 측정하며 억양, 방언, 녹음 품질에 따라 달라집니다.

## 자주 묻는 질문

### 아랍어 단어 하나는 몇 토큰인가요?

모델에 따라 다릅니다. BroadRouter 토크나이저 데이터셋에서 현대 표준 아랍어는 다섯 토크나이저에 걸쳐 100단어당 183.0(Qwen3.8 27B)에서 243.9(GLM 5.3) 토큰이었습니다. 단어 하나가 아니라 병렬 텍스트를 비교하고, 내가 쓰는 모델에서 측정하세요.

### 영어 1,000단어는 몇 토큰인가요?

BroadRouter 측정 데이터셋의 다섯 토크나이저에서 일반 영어 산문은 약 1,269~1,320 토큰(평균 1,290)이었습니다. 기술 문서, 코드, 다른 언어는 더 많이 필요하므로 내 텍스트로 세어 보세요.

### 발음 구별 기호를 없애면 토큰이 줄어드나요?

보통은 줄어듭니다. 발음 구별 기호는 토크나이저가 인코딩해야 하는 추가 문자이기 때문입니다. 작업에 필요 없을 때만 제거하세요. 꾸란, 시, 발음 관련 작업에서는 의미를 담고 있습니다.

### 토큰당 4글자 규칙이 아랍어에도 맞나요?

아니요. OpenAI는 이 어림 규칙을 자사 토크나이저의 영어 텍스트 기준으로 제시합니다. 아랍어나 다른 모델의 토크나이저에는 적용되지 않습니다.

### 아랍어 토큰은 토큰당 더 비싼가요?

아니요. 토큰 가격은 어떤 언어를 인코딩하든 같습니다. 아랍어가 더 비싼 것은 같은 내용이 더 많은 토큰으로 나뉠 때뿐입니다.

## 이어서 읽기

-   [아랍어용 LLM API 선택: 무엇을 테스트해야 하나](https://broadrouter.com/ko/blog/choosing-an-llm-for-arabic/)
-   [LLM API 가격 구조: 입력, 캐시, 출력, 추론 토큰 요금 정리](https://broadrouter.com/ko/blog/llm-api-pricing-explained/)
-   [아랍어 프롬프트 엔지니어링: 문체, RTL, 숫자, 혼용 텍스트](https://broadrouter.com/ko/blog/arabic-prompt-engineering/)
-   [아라비지와 LLM: 3, 7 같은 숫자를 쓰는 프랑코 아랍어 처리하기](https://broadrouter.com/ko/blog/arabizi-llm-handling/)
-   [LLM으로 아랍어 발음 부호 넣기: 프롬프트, 검증, DER](https://broadrouter.com/ko/blog/arabic-diacritization-llm/)
-   [2026년 10월 LLM API 가격 변동: 인상 3건, 인하 없음](https://broadrouter.com/ko/blog/llm-api-price-changes-october-2026/)
-   [LLM API 가격은 얼마나 자주 바뀔까? 3년치 가격 페이지 아카이브 분석](https://broadrouter.com/ko/blog/how-often-llm-api-prices-change/)
-   [가이드: BroadNet Inference에서 OpenAI Python SDK 사용하기](https://broadrouter.com/ko/guides/openai-python-sdk/)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-tokens-per-word-arabic-english&utm_content=page-cta) ·

**출처**

-   [Petrov et al., Language Model Tokenizers Introduce Unfairness Between Languages (arXiv 2305.15425, 2026-11-16 확인)](https://arxiv.org/abs/2305.15425)
-   [Ahia et al., Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models (arXiv 2305.13707, 2026-11-16 확인)](https://arxiv.org/abs/2305.13707)
-   [Hugging Face Transformers, 토큰화 알고리즘(2026-11-16 확인)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [OpenAI 도움말 센터, 토큰이란 무엇이며 어떻게 세는가](https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them)
-   [BroadRouter 토크나이저 효율 데이터셋, 버전 4 (2026-11-15 측정)](https://broadrouter.com/data/tokenizer-efficiency/)
-   [FLORES-200 평가 벤치마크(Meta, CC BY-SA 4.0), MSA 비율의 근거가 된 병렬 문장(고정 커밋, 2026-11-16 확인)](https://github.com/facebookresearch/flores/tree/a6c830c6e1051fb4ac1a44b32358f00463f332bd/flores200)
-   [BroadNet Inference API 레퍼런스, usage 필드(2026-11-16 확인) (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-tokens-per-word-arabic-english&utm_content=sources)
