---
title: "LLM 토큰 수 계산: 언어별 차이와 max_tokens 여유분 | BroadRouter"
description: "LLM API를 호출하기 전에 언어와 모델별로 프롬프트 토큰 수를 추정하는 방법. 토크나이저마다 결과가 다른 이유, 5개 언어 실측 예시, 안전한 max_tokens 여유분을 정리했습니다."
url: https://broadrouter.com/ko/blog/count-tokens-before-sending/
lang: ko
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/blog/count-tokens-before-sending/) (2026-11-16 업데이트).

# LLM 요청 전에 토큰 수 계산하는 방법

BroadNet Inference 팀 · 5분 분량 · 게시 2026-11-14 · 업데이트 2026-11-16

토큰 수는 호출하는 모델의 토크나이저가 공개되어 있으면 그것으로 계산하고, 공개되어 있지 않으면 실제 요청의 usage 필드로 언어와 콘텐츠 유형별 "토큰당 문자 수" 비율을 보정하세요. 여기에 10~20%의 여유분을 더한 뒤, 프롬프트 토큰과 max\_tokens의 합이 컨텍스트 윈도우에 들어가는지 확인하세요. 사고(thinking) 모델은 추론 토큰을 위한 공간도 남겨 두어야 합니다.

## 핵심 요약

-   토크나이저는 모델마다 다릅니다. 같은 아랍어 문장이 저희 테스트에서 cl100k\_base로는 102토큰, o200k\_base로는 46토큰, 오픈 모델 토크나이저로는 48~58토큰이었습니다.
-   이 짧은 테스트에서 영어 산문은 모든 토크나이저에서 토큰당 약 4.5자였습니다. 코드, JSON, 대부분의 비라틴 문자는 문자당 더 많은 토큰을 씁니다.
-   모델의 토크나이저가 공개되어 있지 않다면 보정하세요. 샘플을 보내 usage.prompt\_tokens를 읽고, 언어와 콘텐츠 유형별 비율을 저장해 두면 됩니다.
-   컨텍스트 윈도우에는 프롬프트와 출력이 모두 들어갑니다. 프롬프트만이 아니라 프롬프트 + max\_tokens + 여유분으로 예산을 잡으세요.
-   추론 모델에서는 사고 과정도 max\_tokens에 포함됩니다. BroadNet은 최소 1,000 또는 reasoning\_effort low를 권장합니다.

**이 페이지의 내용**

1.  모델마다 토큰 수가 다른 이유는 무엇인가요?
2.  토큰 수를 정확히 세려면 어떻게 하나요?
3.  토크나이저가 공개되어 있지 않으면 어떻게 추정하나요?
4.  max\_tokens와 컨텍스트에는 여유분을 얼마나 두어야 하나요?
5.  토큰 추정에서 자주 하는 실수는 무엇인가요?
6.  BroadNet Inference는 어디에 적합한가요?

요청을 보내기 전에 [토큰](https://broadrouter.com/ko/glossary/token/) 수가 필요한 이유는 세 가지입니다. [컨텍스트 윈도우](https://broadrouter.com/ko/glossary/context-window/) 안에 머물기 위해, 적절한 [max\_tokens](https://broadrouter.com/ko/glossary/max-tokens/) 값을 정하기 위해, 그리고 비용을 추정하기 위해서입니다. 정확한 수는 모델 자체의 토크나이저로만 얻을 수 있습니다. 좋은 추정치는 보정으로 얻습니다. 이 글에서는 실제 측정값과 함께 두 방법을 모두 보여 드립니다.

## 모델마다 토큰 수가 다른 이유는 무엇인가요?

토크나이저는 고정된 어휘에서 가져온 조각으로 텍스트를 나눕니다. 모델 계열마다 자체 토크나이저를 학습시킵니다. 어휘가 크거나 특정 언어를 더 많이 학습한 토크나이저는 그 언어에서 더 적은 토큰을 만듭니다. 그래서 “이 프롬프트는 몇 토큰인가”에 대한 답은 모델마다 다릅니다.

저희는 짧은 고객 상담 메시지 하나를 4개 언어로 옮긴 것과 작은 Python 함수, 인보이스 JSON 객체 하나를 측정했습니다. OpenAI 수치는 [tiktoken](https://github.com/openai/tiktoken)(`cl100k_base`는 GPT-4 시기, `o200k_base`는 GPT-4o 시기)으로 얻었습니다. 오픈 모델 수치는 각 계열이 Hugging Face에 공개한 토크나이저 파일로, 채팅 템플릿 없이 2026년 11월 14일에 측정했습니다.

| 텍스트(같은 의미) | 문자 수 | cl100k\_base | o200k\_base | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 |
| --- | --- | --- | --- | --- | --- | --- | --- |
| 영어, 31단어 | 173 | 37 | 37 | 37 | 38 | 39 | 39 |
| 스페인어 | 160 | 47 | 40 | 50 | 45 | 43 | 42 |
| 아랍어 | 142 | 102 | 46 | 55 | 58 | 48 | 49 |
| 중국어 | 54 | 51 | 37 | 34 | 35 | 36 | 38 |
| Python 함수 | 94 | 33 | 33 | 35 | 33 | 35 | 38 |
| 인보이스 JSON | 140 | 59 | 60 | 63 | 60 | 72 | 72 |

행마다 샘플이 하나뿐이므로, 이 수치는 벤치마크가 아니라 예시로 보세요. 그래도 세 가지 교훈은 유효합니다. 토크나이저 세대가 중요합니다. 아랍어 텍스트는 `cl100k_base`에서 `o200k_base`로 바뀌면서 절반 이하로 줄었습니다. 오픈 모델끼리도 다릅니다. 같은 아랍어 텍스트가 48~58토큰, JSON은 60~72토큰으로 차이가 났습니다. 그리고 구조화된 콘텐츠는 어디서나 토큰 밀도가 높습니다. JSON은 모든 토크나이저에서 토큰당 약 2자였습니다.

무료 [토큰 계산기](https://broadrouter.com/tools/token-counter/)나 계열별 계산기인 [DeepSeek](https://broadrouter.com/tools/deepseek-token-counter/), [Qwen](https://broadrouter.com/tools/qwen-token-counter/), [GPT](https://broadrouter.com/tools/gpt-token-counter/)로 직접 가진 텍스트에서 같은 측정을 해 볼 수 있습니다. 프롬프트를 고쳤을 때 얼마나 줄어드는지 보려면 [프롬프트 토큰 비교 도구](https://broadrouter.com/tools/prompt-token-diff/)에서 두 버전을 비교하세요. 특히 아랍어가 토큰을 더 많이 쓰는 이유는 더 긴 텍스트로 측정한 [아랍어와 영어의 단어당 토큰 수](https://broadrouter.com/ko/blog/tokens-per-word-arabic-english/)에서 다룹니다.

## 토큰 수를 정확히 세려면 어떻게 하나요?

모델의 토크나이저가 공개되어 있다면 불러와서 로컬에서 세면 됩니다. OpenAI 모델의 경우는 다음과 같습니다.

```python
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))
```

오픈 웨이트 계열은 보통 Hugging Face에 모델과 함께 토크나이저가 들어 있으며, `AutoTokenizer.from_pretrained(...)`로 불러올 수 있습니다. 주의할 점이 두 가지 있습니다. 채팅 템플릿이 역할과 구분자용 토큰을 더하고, API 제공업체가 배포한 버전은 공개 파일과 다를 수 있습니다. BroadNet API 레퍼런스에는 토큰 계산 엔드포인트나 모델별 토크나이저가 문서화되어 있지 않습니다. 따라서 공개 토크나이저로는 근접한 추정치를 얻고, 정확한 수는 호출 후의 `usage.prompt_tokens`로 확인합니다.

## 토크나이저가 공개되어 있지 않으면 어떻게 추정하나요?

모델마다 한 번 보정한 다음, 로컬에서 추정하세요.

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def prompt_tokens(model, text):
    r = client.chat.completions.create(
        model=model, max_tokens=1000,  # room for reasoning on thinking models
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

def measure(model, samples: dict[str, list[str]]):
    base = prompt_tokens(model, "hi")  # chat-template overhead plus one short word
    ratios = {}
    for kind, texts in samples.items():
        chars = toks = 0
        for t in texts:
            chars += len(t)
            toks += prompt_tokens(model, t) - base
        ratios[kind] = chars / toks
    return ratios  # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}

def estimate(text, kind, ratios, overhead=10):
    return int(len(text) / ratios[kind]) + overhead
```

콘텐츠 유형마다 실제 샘플(lorem ipsum이 아니라 실제로 쓰는 프롬프트)을 20개 이상 사용하세요. 한 단어짜리 기준 요청은 고정된 채팅 템플릿 오버헤드를 빼 주며, `estimate`는 이를 `overhead`로 다시 더합니다. 이 값은 직접 측정한 기준값으로 설정하세요. BroadNet에서 가장 저렴한 모델로 보정하는 것은 그 모델을 실제로 호출할 때만 의미가 있습니다. [Gemma 4 VL 26B](https://broadrouter.com/ko/models/gemma-4-vl-26b/)의 비율은 [DeepSeek V4.1 Flash](https://broadrouter.com/ko/models/deepseek-v4.1-flash/)에 그대로 적용되지 않습니다. 이미지도 입력 토큰으로 과금되고 큰 이미지일수록 더 많이 쓰므로, 해상도별로 따로 보정하세요.

## max\_tokens와 컨텍스트에는 여유분을 얼마나 두어야 하나요?

윈도우에는 프롬프트**와** 출력이 모두 들어갑니다. 추론 모델에서는 출력에 숨겨진 사고 과정이 포함되며, 이는 [추론 토큰](https://broadrouter.com/ko/glossary/reasoning-tokens/)으로 보고됩니다. 예산은 다음과 같이 잡으세요.

1.  **프롬프트 추정치** = 보정된 토큰 수 × 1.15(15% 안전 여유분).
2.  **답변 예산** = 허용할 가장 긴 답변.
3.  **추론 예산** = 사고 모델이라면 최소 1,000토큰. BroadNet 문서는 한도가 작으면 빈 답변이 반환될 수 있으므로 최소 1,000 또는 `reasoning_effort: "low"`를 권장합니다.
4.  **max\_tokens** = 답변 예산 + 추론 예산.
5.  **확인**: 프롬프트 추정치 + max\_tokens ≤ 컨텍스트 윈도우. 넘친다면 답변이 아니라 프롬프트를 줄이세요.

공개된 가격 파일 기준 BroadNet Inference의 컨텍스트 윈도우는 다음과 같습니다.

| 모델 | 컨텍스트 윈도우 | 출력 16K, 여유분 15% 기준 실질 프롬프트 상한 |
| --- | --- | --- |
| DeepSeek V4.1 Flash | 1,048,576 | 약 897,000 |
| [GLM 5.3](https://broadrouter.com/ko/models/glm-5.3/) | 1,048,576 | 약 897,000 |
| [Qwen3.8 27B](https://broadrouter.com/ko/models/qwen3.8-27b/) | 262,144 | 약 213,000 |
| Gemma 4 VL 26B | 32,768 | 약 14,000 |

상한 열은 (윈도우 − 16,384) ÷ 1.15를 내림한 값입니다. 16,384를 실제로 쓰는 max\_tokens로 바꿔 계산하세요.

## 토큰 추정에서 자주 하는 실수는 무엇인가요?

-   **토큰 대신 단어 수를 세기.** “토큰당 0.75단어” 규칙은 영어용입니다. 저희의 29단어 아랍어 샘플은 토크나이저에 따라 46~102토큰이었습니다.
-   **도구와 시스템 프롬프트 빠뜨리기.** 도구 스키마는 토큰 밀도가 높은 JSON입니다. 프롬프트의 일부로 세세요.
-   **알아서 잘라 줄 것이라고 가정하기.** 어떤 도구는 오래된 메시지를 알리지 않고 버립니다. BroadNet은 컨텍스트를 잘라내지 않는다고 밝히고 있으므로, 서버가 잘라 주기를 기대하지 말고 보내기 전에 크기를 확인하세요. [컨텍스트 윈도우 계산기](https://broadrouter.com/tools/context-window-calculator/)가 이 확인을 대신해 줍니다.
-   **대화 기록이 늘어나는 것을 무시하기.** 채팅이나 에이전트 루프에서는 프롬프트가 턴마다 길어집니다. 세션당 한 번이 아니라 호출할 때마다 예산을 다시 확인하세요. 안정적인 기록은 캐시도 더 잘 됩니다. [캐싱을 위한 프롬프트 구조](https://broadrouter.com/ko/blog/prompt-structure-for-caching/)를 참고하세요.

아랍어로 작업한다면, 토크나이저는 직접 가진 텍스트로 모델을 테스트해야 하는 또 하나의 이유입니다. 나머지는 [아랍어용 LLM 고르기](https://broadrouter.com/ko/blog/choosing-an-llm-for-arabic/)에서 다룹니다. 토큰 수를 월 청구액으로 환산하려면 [출시 전에 LLM API 비용을 추정하는 방법](https://broadrouter.com/ko/blog/estimate-llm-api-cost-before-launch/)을 참고하세요.

## BroadNet Inference는 어디에 적합한가요?

BroadNet Inference는 모든 응답에 `prompt_tokens`, `completion_tokens`, 그리고 모델이 보고하는 경우 캐시된 토큰과 추론 토큰 수를 돌려주며, 보정에 필요한 것은 이것이 전부입니다. 토큰 계산 엔드포인트나 모델별 토크나이저는 공개하지 않으므로, 보내기 전에 센 값은 추정치입니다. 100만 토큰 모델에서의 긴 컨텍스트 작업은 [컨텍스트 윈도우 가이드](https://broadrouter.com/ko/blog/million-token-context-window-guide/)에서, 100만 토큰당 가격은 [가격 페이지](https://broadrouter.com/ko/pricing/)에서 확인하세요.

관련 무료 도구 (영어)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[무료 도구 (영어)](https://broadrouter.com/tools/)

## 이 글의 용어

[토큰(token)](https://broadrouter.com/ko/glossary/token/)

토큰은 언어 모델이 읽고 쓰는 텍스트 단위로, 모델의 토크나이저가 만들어 내는 단어, 단어의 일부, 문장 부호 또는 바이트 시퀀스입니다. LLM API는 사용량을 토큰 단위로 집계하고 제한하며, 대개 토큰 단위로 과금합니다.

[도구 호출(tool calling)](https://broadrouter.com/ko/glossary/tool-calling/)

도구 호출(tool calling)은 함수 호출(function calling)이라고도 하며, 모델이 개발자가 정의한 함수를 실행해 달라는 구조화된 요청을 JSON 인자와 함께 반환하는 LLM API 기능입니다. 함수는 애플리케이션이 실행하고 그 결과를 다시 보냅니다. 모델이 직접 코드를 실행하지는 않습니다.

[max\_tokens(최대 출력 토큰)](https://broadrouter.com/ko/glossary/max-tokens/)

max\_tokens는 모델이 응답 하나에서 생성할 수 있는 최대 토큰 수를 정하는 LLM API 파라미터입니다. 생성이 이 한도에 닿으면 멈추고, 응답에는 잘렸다는 표시가 붙습니다. 예를 들어 finish\_reason이 "length"로 설정됩니다.

[오픈 웨이트 모델(open-weight model)](https://broadrouter.com/ko/glossary/open-weight-model/)

오픈 웨이트 모델은 학습된 가중치를 공개해 누구나 내려받아 실행할 수 있게 한 머신러닝 모델로, 보통 조건이 붙은 라이선스로 배포됩니다. 학습 코드와 학습 데이터에 대한 상세한 정보까지 공개해 다른 사람이 모델을 연구하고 재현할 수 있게 하는 완전한 오픈 소스 AI와는 다릅니다.

[추론 토큰(reasoning tokens)](https://broadrouter.com/ko/glossary/reasoning-tokens/)

추론 토큰(reasoning tokens)은 추론 모델이 눈에 보이는 답변을 쓰기 전에 문제를 풀기 위해 생성하는 토큰입니다. 보통 출력 토큰으로 과금되고, 출력 한도와 컨텍스트 윈도우에 포함되며, API에 따라 숨겨지거나 요약되어 제공됩니다.

[토크나이저(tokenizer)](https://broadrouter.com/ko/glossary/tokenizer/)

토크나이저(tokenizer)는 텍스트를 언어 모델이 읽는 정수 토큰 ID 시퀀스로 변환하고, 생성된 ID를 다시 텍스트로 바꾸는 구성 요소입니다. 모델마다 자체 토크나이저가 있으므로, 같은 텍스트도 모델에 따라 토큰 수가 달라질 수 있습니다.

[입력 토큰과 출력 토큰(input and output tokens)](https://broadrouter.com/ko/glossary/input-and-output-tokens/)

입력 토큰은 언어 모델이 요청에서 읽는 토큰으로, 시스템 프롬프트, 대화 기록, 도구 정의, 이미지가 포함됩니다. 출력 토큰은 모델이 응답으로 생성하는 토큰으로, 추론도 포함됩니다. LLM API는 보통 둘에 따로 가격을 매기며, 대개 출력이 더 비쌉니다.

[AI 에이전트(AI agent)](https://broadrouter.com/ko/glossary/agent/)

AI 에이전트는 언어 모델이 목표를 향해 스스로 단계를 정하는 시스템입니다. 어떤 도구를 호출할지 결정하고, 결과를 읽고, 최종 답변을 내거나 한도에 닿을 때까지 이를 반복합니다. 정해진 지점에서 모델을 호출하는 고정된 스크립트는 보통 워크플로라고 부릅니다.

## 자주 묻는 질문

### 단어 하나는 몇 토큰인가요?

토크나이저 5개(BroadNet 채팅 모델 4개의 토크나이저와 OpenAI의 o200k\_base. 본문 예시 표에는 cl100k\_base도 추가)를 합친 BroadRouter의 토크나이저 데이터셋에서 영어 1,000단어는 약 1,290 토큰, 즉 단어당 약 1.29 토큰입니다. 흔히 쓰는 "토큰당 0.75단어" 경험칙은 영어 산문에는 대체로 맞습니다. 아랍어를 비롯한 비라틴 문자와 코드는 단어당 더 많은 토큰을 씁니다. 실제로 호출하는 모델로 직접 측정하세요.

### tiktoken으로 DeepSeek, Qwen, Gemma의 토큰 수를 셀 수 있나요?

대략적인 추정용으로만 가능합니다. tiktoken은 OpenAI 인코딩을 구현한 것입니다. 다른 모델 계열은 보통 Hugging Face에 자체 토크나이저를 공개하며, 토큰 수가 다르게 나옵니다. usage 필드로 보정하세요.

### DeepSeek, Qwen, GLM, Gemma 토큰 수를 세는 무료 도구가 있나요?

네. BroadRouter의 무료 토큰 계산기는 이 모델 계열들의 공개 토크나이저를 브라우저에서 실행하므로 텍스트가 내 컴퓨터 밖으로 나가지 않습니다. 채팅 템플릿이 토큰을 몇 개 더하므로, 결과는 API가 보고할 값의 추정치로 보세요.

### 프롬프트가 컨텍스트 윈도우보다 길면 어떻게 되나요?

대부분의 API는 오류를 반환합니다. 일부 도구는 오래된 메시지를 말없이 잘라냅니다. BroadNet은 컨텍스트를 잘라내지 않으므로, 보내기 전에 프롬프트와 max\_tokens의 합을 윈도우와 비교하세요.

### max\_tokens에는 여유분을 얼마나 남겨야 하나요?

예상되는 가장 긴 답변을 추정하고, 사고 모델이라면 추론 예산을 더한 다음, 추정 오차를 위해 윈도우의 10~20%를 비워 두세요.

## 이어서 읽기

-   [아랍어와 영어의 단어당 토큰 수: 아랍어가 더 비싼 이유](https://broadrouter.com/ko/blog/tokens-per-word-arabic-english/)
-   [100만 토큰 컨텍스트 윈도우, 언제 쓸 만하고 언제 아닌가](https://broadrouter.com/ko/blog/million-token-context-window-guide/)
-   [기능 출시 전에 LLM API 비용을 예상하는 방법](https://broadrouter.com/ko/blog/estimate-llm-api-cost-before-launch/)
-   [접두부가 캐시되도록 프롬프트를 구성하는 방법](https://broadrouter.com/ko/blog/prompt-structure-for-caching/)
-   [프롬프트 토큰 줄이기: 시스템 프롬프트, 도구, 데이터 절감 실측](https://broadrouter.com/ko/blog/reduce-prompt-tokens/)
-   [BroadNet의 GPU 하드웨어와 서빙 방식: BroadNet이 밝힌 내용](https://broadrouter.com/ko/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM API 응답 캐싱으로 비용 줄이기: Python 정확 일치 캐시](https://broadrouter.com/ko/blog/cache-llm-responses-cut-cost/)
-   [가이드: 추론 모델이 빈 답변을 반환하는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)
-   [가이드: BroadNet Inference에서 OpenAI Python SDK 사용하기](https://broadrouter.com/ko/guides/openai-python-sdk/)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-count-tokens-before-sending&utm_content=page-cta) ·

**출처**

-   [tiktoken README, 인코딩과 토큰당 약 4바이트(2026-11-14 확인)](https://github.com/openai/tiktoken)
-   [BroadNet Inference API 레퍼런스, max\_tokens와 추론(2026-11-14 확인) (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-count-tokens-before-sending&utm_content=sources)
-   [BroadNet Inference 기계 판독용 가격 및 컨텍스트 길이 파일(pricing.json, 2026-11-14 확인) (영어)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-count-tokens-before-sending&utm_content=sources)
-   [Hugging Face Transformers 토크나이저 문서(2026-11-14 확인)](https://huggingface.co/docs/transformers/main_classes/tokenizer)
