---
title: "LLM 토크나이저의 어휘 크기(vocab size)란? | BroadRouter"
description: "어휘 크기는 모델이 아는 서로 다른 토큰의 수입니다. DeepSeek, GLM, Qwen, Gemma의 실측 어휘 크기와, 어휘가 크다고 토큰이 항상 적지는 않은 이유를 정리했습니다."
url: https://broadrouter.com/ko/glossary/vocabulary-size/
lang: ko
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/vocabulary-size/) (2026-11-16 업데이트).

# 어휘 크기(vocabulary size)

업데이트 2026-11-16

어휘 크기(vocabulary size)는 언어 모델 토크나이저에 들어 있는 서로 다른 토큰의 수로, 토큰마다 고유한 ID와 임베딩이 있습니다. 어휘가 크면 흔한 텍스트를 더 적은 토큰으로 인코딩할 수 있지만, 임베딩 층과 출력 층이 커지고, 어휘 학습에 쓰인 종류의 텍스트에서만 효과가 있습니다.

다른 이름: 어휘 크기, 어휘 사전 크기, 토크나이저 어휘, 토큰 어휘, 단어 사전 크기, vocabulary size, vocab size, vocab\_size, tokenizer vocabulary, token vocabulary

어휘 크기는 모델이 [토큰](https://broadrouter.com/ko/glossary/token/) 하나로 표현할 수 있는 텍스트 조각이 몇 종류인지를 알려 줍니다.

## 작동 방식

[BPE](https://broadrouter.com/ko/glossary/bpe/) 토크나이저의 어휘는 기본 기호에 학습한 모든 병합을 더한 것입니다. Hugging Face 문서는 초기 GPT를 예로 듭니다. 기본 토큰 478개 + 병합 40,000개 = 40,478개입니다. 목표 크기는 만드는 쪽이 학습 전에 정합니다.

2026-11-14에 Hugging Face에서 각 모델의 고정된 버전 `tokenizer.json`을 읽어 어휘를 확인했습니다.

| 토크나이저 | 어휘 항목 수 | 특수 토큰 포함 전체 ID 수 |
| --- | --- | --- |
| DeepSeek V4.1 Flash | 128,000 | 129,280 |
| GLM 5.3 | 154,820 | 154,856 |
| Qwen3.8 27B | 248,044 | 248,077 |
| Gemma 4 26B A4B(Google 기본) | 262,144 | 262,144 |
| OpenAI o200k\_base(참고) | 199,998 | 200,019 |

Gemma 4 모델 카드에 적힌 262K 어휘와 일치합니다. Qwen3.8 카드는 임베딩 크기를 “padded”(번역: 패딩됨) 248,320으로 표기하는데, 실제로 쓰이는 ID 248,077개보다 큽니다.

## 왜 중요한가

API 사용자에게 어휘 크기는 단어당 비용을 간접적으로 알려 주는 힌트입니다. 중요한 것은 병합이 어떤 텍스트로 학습되었느냐입니다. [토크나이저 데이터셋](https://broadrouter.com/data/tokenizer-efficiency/)에서 같은 현대 표준 아랍어 39,037단어의 100단어당 토큰 수를 비교해 보세요.

-   DeepSeek V4.1 Flash, 어휘 128,000개: 86,690 / 39,037 x 100 = 222.1
-   GLM 5.3, 어휘 154,820개: 95,230 / 39,037 x 100 = 243.9
-   Qwen3.8 27B, 어휘 248,044개: 71,424 / 39,037 x 100 = 183.0
-   Gemma 4, 어휘 262,144개: 79,120 / 39,037 x 100 = 202.7

GLM 5.3은 DeepSeek보다 어휘가 많지만 이 텍스트에서는 토큰을 더 씁니다. Gemma는 어휘가 가장 많지만 가장 압축적이지는 않습니다. 영어 산문에서는 다섯 개 모두 100단어당 127~132토큰 사이여서, 어휘 크기의 영향이 거의 없습니다.

원칙은 이렇습니다. 어휘 수치로 비용을 추정하지 말고, 모델의 [토크나이저](https://broadrouter.com/ko/glossary/tokenizer/)로 내 텍스트를 직접 측정하세요.

## BroadNet Inference에서는

BroadNet은 어휘 크기를 공개하지 않습니다. 위 수치는 공개 모델 저장소에서 가져온 것입니다. Gemma 행은 Google 기본 토크나이저를 기준으로 했으며, BroadNet의 Gemma 4 VL 26B 빌드도 이를 그대로 쓴다고 가정했습니다. 내 프롬프트에서 어떤 차이가 나는지는 [토큰 카운터](https://broadrouter.com/tools/token-counter/)로 확인하고, 아랍어용 모델을 고를 때는 [아랍어용 LLM 고르기](https://broadrouter.com/ko/blog/choosing-an-llm-for-arabic/)와 [단어당 토큰 수 연구](https://broadrouter.com/ko/blog/tokens-per-word-arabic-english/)를 함께 읽어 보세요.

## 자주 묻는 질문

### 어휘가 크면 토큰 수가 줄어드나요?

대개 그렇지만 항상은 아닙니다. 2026-11-14 테스트에서 Gemma 4는 어휘가 가장 크지만(262,144) 아랍어 텍스트에 347토큰을 썼고, 어휘 248,044개인 Qwen3.8 27B는 같은 텍스트를 316토큰으로 인코딩했습니다.

### vocab\_size와 토크나이저 파일의 값이 왜 다른가요?

모델 설정은 임베딩 테이블을 딱 떨어지는 수로 패딩하고 특수 토큰용 ID를 예약해 두는 경우가 많습니다. Qwen3.8 27B는 패딩된 크기를 248,320으로 표기하지만, tokenizer.json은 0부터 248,076까지의 ID(ID는 0부터 시작)를 써서 모두 248,077개입니다.

### 모델의 어휘 크기는 어디서 확인하나요?

모델의 config.json에서 vocab\_size 값을 보거나, tokenizer.json을 불러와 항목 수를 세면 됩니다. config 값은 패딩된 경우가 많으므로, 실제로 쓰이는 토큰 수는 토크나이저 파일이 정확합니다.

## 함께 보기

-   [토크나이저(tokenizer)](https://broadrouter.com/ko/glossary/tokenizer/) (용어)
-   [바이트 페어 인코딩(BPE)](https://broadrouter.com/ko/glossary/bpe/) (용어)
-   [토큰(token)](https://broadrouter.com/ko/glossary/token/) (용어)
-   [컨텍스트 윈도우(context window)](https://broadrouter.com/ko/glossary/context-window/) (용어)
-   [아랍어와 영어의 단어당 토큰 수: 아랍어가 더 비싼 이유](https://broadrouter.com/ko/blog/tokens-per-word-arabic-english/) (글)
-   [아랍어용 LLM API 선택: 무엇을 테스트해야 하나](https://broadrouter.com/ko/blog/choosing-an-llm-for-arabic/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-vocabulary-size&utm_content=page-cta) ·

**출처**

-   [Hugging Face Transformers, 토큰화 알고리즘(기본 기호 + 병합으로 본 어휘 크기)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Hugging Face 모델 카드, google/gemma-4-26B-A4B-it(어휘 262K)](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [Hugging Face 모델 카드, Qwen/Qwen3.8-27B(패딩된 임베딩 248,320)](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [Hugging Face 모델 저장소, zai-org/GLM-5.3(GLM tokenizer.json 출처)](https://huggingface.co/zai-org/GLM-5.3)
