BroadRouter

LLM 요청 전에 토큰 수 계산하는 방법

BroadNet Inference 팀 · 5분 분량 · 게시 · 업데이트

토큰 수는 호출하는 모델의 토크나이저가 공개되어 있으면 그것으로 계산하고, 공개되어 있지 않으면 실제 요청의 usage 필드로 언어와 콘텐츠 유형별 "토큰당 문자 수" 비율을 보정하세요. 여기에 10~20%의 여유분을 더한 뒤, 프롬프트 토큰과 max_tokens의 합이 컨텍스트 윈도우에 들어가는지 확인하세요. 사고(thinking) 모델은 추론 토큰을 위한 공간도 남겨 두어야 합니다.

요청을 보내기 전에 토큰 수가 필요한 이유는 세 가지입니다. 컨텍스트 윈도우 안에 머물기 위해, 적절한 max_tokens 값을 정하기 위해, 그리고 비용을 추정하기 위해서입니다. 정확한 수는 모델 자체의 토크나이저로만 얻을 수 있습니다. 좋은 추정치는 보정으로 얻습니다. 이 글에서는 실제 측정값과 함께 두 방법을 모두 보여 드립니다.

모델마다 토큰 수가 다른 이유는 무엇인가요?

토크나이저는 고정된 어휘에서 가져온 조각으로 텍스트를 나눕니다. 모델 계열마다 자체 토크나이저를 학습시킵니다. 어휘가 크거나 특정 언어를 더 많이 학습한 토크나이저는 그 언어에서 더 적은 토큰을 만듭니다. 그래서 “이 프롬프트는 몇 토큰인가”에 대한 답은 모델마다 다릅니다.

저희는 짧은 고객 상담 메시지 하나를 4개 언어로 옮긴 것과 작은 Python 함수, 인보이스 JSON 객체 하나를 측정했습니다. OpenAI 수치는 tiktoken(cl100k_base는 GPT-4 시기, o200k_base는 GPT-4o 시기)으로 얻었습니다. 오픈 모델 수치는 각 계열이 Hugging Face에 공개한 토크나이저 파일로, 채팅 템플릿 없이 2026년 11월 14일에 측정했습니다.

텍스트(같은 의미) 문자 수 cl100k_base o200k_base DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4
영어, 31단어 173 37 37 37 38 39 39
스페인어 160 47 40 50 45 43 42
아랍어 142 102 46 55 58 48 49
중국어 54 51 37 34 35 36 38
Python 함수 94 33 33 35 33 35 38
인보이스 JSON 140 59 60 63 60 72 72

행마다 샘플이 하나뿐이므로, 이 수치는 벤치마크가 아니라 예시로 보세요. 그래도 세 가지 교훈은 유효합니다. 토크나이저 세대가 중요합니다. 아랍어 텍스트는 cl100k_base에서 o200k_base로 바뀌면서 절반 이하로 줄었습니다. 오픈 모델끼리도 다릅니다. 같은 아랍어 텍스트가 4858토큰, JSON은 6072토큰으로 차이가 났습니다. 그리고 구조화된 콘텐츠는 어디서나 토큰 밀도가 높습니다. JSON은 모든 토크나이저에서 토큰당 약 2자였습니다.

무료 토큰 계산기나 계열별 계산기인 DeepSeek, Qwen, GPT로 직접 가진 텍스트에서 같은 측정을 해 볼 수 있습니다. 프롬프트를 고쳤을 때 얼마나 줄어드는지 보려면 프롬프트 토큰 비교 도구에서 두 버전을 비교하세요. 특히 아랍어가 토큰을 더 많이 쓰는 이유는 더 긴 텍스트로 측정한 아랍어와 영어의 단어당 토큰 수에서 다룹니다.

토큰 수를 정확히 세려면 어떻게 하나요?

모델의 토크나이저가 공개되어 있다면 불러와서 로컬에서 세면 됩니다. OpenAI 모델의 경우는 다음과 같습니다.

import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))

오픈 웨이트 계열은 보통 Hugging Face에 모델과 함께 토크나이저가 들어 있으며, AutoTokenizer.from_pretrained(...)로 불러올 수 있습니다. 주의할 점이 두 가지 있습니다. 채팅 템플릿이 역할과 구분자용 토큰을 더하고, API 제공업체가 배포한 버전은 공개 파일과 다를 수 있습니다. BroadNet API 레퍼런스에는 토큰 계산 엔드포인트나 모델별 토크나이저가 문서화되어 있지 않습니다. 따라서 공개 토크나이저로는 근접한 추정치를 얻고, 정확한 수는 호출 후의 usage.prompt_tokens로 확인합니다.

토크나이저가 공개되어 있지 않으면 어떻게 추정하나요?

모델마다 한 번 보정한 다음, 로컬에서 추정하세요.

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def prompt_tokens(model, text):
    r = client.chat.completions.create(
        model=model, max_tokens=1000,  # room for reasoning on thinking models
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

def measure(model, samples: dict[str, list[str]]):
    base = prompt_tokens(model, "hi")  # chat-template overhead plus one short word
    ratios = {}
    for kind, texts in samples.items():
        chars = toks = 0
        for t in texts:
            chars += len(t)
            toks += prompt_tokens(model, t) - base
        ratios[kind] = chars / toks
    return ratios  # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}

def estimate(text, kind, ratios, overhead=10):
    return int(len(text) / ratios[kind]) + overhead

콘텐츠 유형마다 실제 샘플(lorem ipsum이 아니라 실제로 쓰는 프롬프트)을 20개 이상 사용하세요. 한 단어짜리 기준 요청은 고정된 채팅 템플릿 오버헤드를 빼 주며, estimate는 이를 overhead로 다시 더합니다. 이 값은 직접 측정한 기준값으로 설정하세요. BroadNet에서 가장 저렴한 모델로 보정하는 것은 그 모델을 실제로 호출할 때만 의미가 있습니다. Gemma 4 VL 26B의 비율은 DeepSeek V4.1 Flash에 그대로 적용되지 않습니다. 이미지도 입력 토큰으로 과금되고 큰 이미지일수록 더 많이 쓰므로, 해상도별로 따로 보정하세요.

max_tokens와 컨텍스트에는 여유분을 얼마나 두어야 하나요?

윈도우에는 프롬프트와 출력이 모두 들어갑니다. 추론 모델에서는 출력에 숨겨진 사고 과정이 포함되며, 이는 추론 토큰으로 보고됩니다. 예산은 다음과 같이 잡으세요.

  1. 프롬프트 추정치 = 보정된 토큰 수 × 1.15(15% 안전 여유분).
  2. 답변 예산 = 허용할 가장 긴 답변.
  3. 추론 예산 = 사고 모델이라면 최소 1,000토큰. BroadNet 문서는 한도가 작으면 빈 답변이 반환될 수 있으므로 최소 1,000 또는 reasoning_effort: "low"를 권장합니다.
  4. max_tokens = 답변 예산 + 추론 예산.
  5. 확인: 프롬프트 추정치 + max_tokens ≤ 컨텍스트 윈도우. 넘친다면 답변이 아니라 프롬프트를 줄이세요.

공개된 가격 파일 기준 BroadNet Inference의 컨텍스트 윈도우는 다음과 같습니다.

모델 컨텍스트 윈도우 출력 16K, 여유분 15% 기준 실질 프롬프트 상한
DeepSeek V4.1 Flash 1,048,576 약 897,000
GLM 5.3 1,048,576 약 897,000
Qwen3.8 27B 262,144 약 213,000
Gemma 4 VL 26B 32,768 약 14,000

상한 열은 (윈도우 − 16,384) ÷ 1.15를 내림한 값입니다. 16,384를 실제로 쓰는 max_tokens로 바꿔 계산하세요.

토큰 추정에서 자주 하는 실수는 무엇인가요?

  • 토큰 대신 단어 수를 세기. “토큰당 0.75단어” 규칙은 영어용입니다. 저희의 29단어 아랍어 샘플은 토크나이저에 따라 46~102토큰이었습니다.
  • 도구와 시스템 프롬프트 빠뜨리기. 도구 스키마는 토큰 밀도가 높은 JSON입니다. 프롬프트의 일부로 세세요.
  • 알아서 잘라 줄 것이라고 가정하기. 어떤 도구는 오래된 메시지를 알리지 않고 버립니다. BroadNet은 컨텍스트를 잘라내지 않는다고 밝히고 있으므로, 서버가 잘라 주기를 기대하지 말고 보내기 전에 크기를 확인하세요. 컨텍스트 윈도우 계산기가 이 확인을 대신해 줍니다.
  • 대화 기록이 늘어나는 것을 무시하기. 채팅이나 에이전트 루프에서는 프롬프트가 턴마다 길어집니다. 세션당 한 번이 아니라 호출할 때마다 예산을 다시 확인하세요. 안정적인 기록은 캐시도 더 잘 됩니다. 캐싱을 위한 프롬프트 구조를 참고하세요.

아랍어로 작업한다면, 토크나이저는 직접 가진 텍스트로 모델을 테스트해야 하는 또 하나의 이유입니다. 나머지는 아랍어용 LLM 고르기에서 다룹니다. 토큰 수를 월 청구액으로 환산하려면 출시 전에 LLM API 비용을 추정하는 방법을 참고하세요.

BroadNet Inference는 어디에 적합한가요?

BroadNet Inference는 모든 응답에 prompt_tokens, completion_tokens, 그리고 모델이 보고하는 경우 캐시된 토큰과 추론 토큰 수를 돌려주며, 보정에 필요한 것은 이것이 전부입니다. 토큰 계산 엔드포인트나 모델별 토크나이저는 공개하지 않으므로, 보내기 전에 센 값은 추정치입니다. 100만 토큰 모델에서의 긴 컨텍스트 작업은 컨텍스트 윈도우 가이드에서, 100만 토큰당 가격은 가격 페이지에서 확인하세요.

자주 묻는 질문

단어 하나는 몇 토큰인가요?

토크나이저 5개(BroadNet 채팅 모델 4개의 토크나이저와 OpenAI의 o200k_base. 본문 예시 표에는 cl100k_base도 추가)를 합친 BroadRouter의 토크나이저 데이터셋에서 영어 1,000단어는 약 1,290 토큰, 즉 단어당 약 1.29 토큰입니다. 흔히 쓰는 "토큰당 0.75단어" 경험칙은 영어 산문에는 대체로 맞습니다. 아랍어를 비롯한 비라틴 문자와 코드는 단어당 더 많은 토큰을 씁니다. 실제로 호출하는 모델로 직접 측정하세요.

tiktoken으로 DeepSeek, Qwen, Gemma의 토큰 수를 셀 수 있나요?

대략적인 추정용으로만 가능합니다. tiktoken은 OpenAI 인코딩을 구현한 것입니다. 다른 모델 계열은 보통 Hugging Face에 자체 토크나이저를 공개하며, 토큰 수가 다르게 나옵니다. usage 필드로 보정하세요.

DeepSeek, Qwen, GLM, Gemma 토큰 수를 세는 무료 도구가 있나요?

네. BroadRouter의 무료 토큰 계산기는 이 모델 계열들의 공개 토크나이저를 브라우저에서 실행하므로 텍스트가 내 컴퓨터 밖으로 나가지 않습니다. 채팅 템플릿이 토큰을 몇 개 더하므로, 결과는 API가 보고할 값의 추정치로 보세요.

프롬프트가 컨텍스트 윈도우보다 길면 어떻게 되나요?

대부분의 API는 오류를 반환합니다. 일부 도구는 오래된 메시지를 말없이 잘라냅니다. BroadNet은 컨텍스트를 잘라내지 않으므로, 보내기 전에 프롬프트와 max_tokens의 합을 윈도우와 비교하세요.

max_tokens에는 여유분을 얼마나 남겨야 하나요?

예상되는 가장 긴 답변을 추정하고, 사고 모델이라면 추론 예산을 더한 다음, 추정 오차를 위해 윈도우의 10~20%를 비워 두세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기