BroadRouter

프롬프트 토큰 줄이기: 시스템 프롬프트, 도구, 데이터 절감 실측

BroadNet Inference 팀 · 7분 분량 · 게시 · 업데이트

먼저 측정하세요. 호출마다 prompt_tokens를 기록하고, 가장 큰 부분을 찾고, 모델의 토크나이저로 전후를 비교하세요. 토크나이저 다섯 개에서 장황한 시스템 프롬프트를 다듬으면 68~71%가 줄었고, CSV는 압축 JSON보다 토큰이 31~41% 적었습니다. 모델 세 개에서 다듬은 시스템 프롬프트와 함께 장황한 도구 10개 대신 짧은 도구 3개를 넣으면 렌더링된 요청 전체가 약 65~71% 줄었습니다.

짧은 프롬프트는 비용이 덜 들고, 컨텍스트 윈도우를 작업에 더 많이 남겨 주며, 대개 첫 토큰도 더 빨리 돌려줍니다. 하지만 “프롬프트를 짧게 하라”는 막연한 조언입니다. 이 글에서는 현실적인 고객 지원 봇 프롬프트 하나에 흔한 절감 방법을 적용하고, 오픈 모델 네 개의 실제 토크나이저와 OpenAI의 o200k_base로 측정해서, 어떤 수정이 시간을 들일 가치가 있는지 보여 드립니다.

코딩 에이전트를 운영한다면 그 루프는 에이전트 토큰 예산에서 다룹니다. 이 글은 챗봇, 분류기, 추출 작업 같은 애플리케이션 프롬프트에 관한 것입니다.

어떻게 측정했나요?

아래의 모든 수치는 2026년 11월 15일에 저희가 직접 측정한 것입니다.

  • 토크나이저. DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B, Google의 Gemma 4 26B A4B의 공식 tokenizer.json 파일을 각각 고정된 Hugging Face 리비전(출처 참고)으로 받아 Hugging Face tokenizers 0.23.3으로 불러왔습니다. GPT 모델과 비교하기 위해 tiktoken 0.14.0의 o200k_base도 썼습니다. 특수 토큰은 추가하지 않았습니다.
  • 렌더링된 프롬프트. DeepSeek, GLM, Qwen은 각 모델이 공개한 chat_template.jinja(Jinja2 샌드박스)로 시스템 프롬프트, 도구, 이력, 질문을 포함한 전체 요청을 렌더링해 그 결과도 셌습니다. 서버가 토큰화하는 것과 가깝지만, 제공업체가 다른 템플릿을 쓸 수 있으므로 최종 기준은 API의 usage.prompt_tokens로 보세요.
  • 텍스트. 가상의 통신사를 위한 합성 고객 지원 봇입니다. 261단어짜리 시스템 프롬프트, 도구 10개, 퓨샷 예시 8개, 주문 40행, 20턴짜리 이력, 31단어짜리 아랍어 문단으로 구성했습니다. 프롬프트 하나는 데이터 포인트 하나일 뿐입니다. 절감 폭은 달라지겠지만 방법은 그대로 쓸 수 있습니다.

BroadNet의 Gemma 4 VL 26B는 Google 모델을 기반으로 하므로 해당 수치는 추정치입니다. 나머지는 모델 자체 파일을 썼습니다.

어떤 절감 방법이 토큰을 가장 많이 줄이나요?

원본 텍스트 기준 전 → 후, 그리고 절감 비율입니다.

변경 DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
시스템 프롬프트: 261단어 → 66단어 295 → 88 (70%) 294 → 89 (70%) 297 → 95 (68%) 297 → 96 (68%) 293 → 86 (71%)
퓨샷: 예시 8개 → 3개 157 → 69 (56%) 157 → 69 (56%) 156 → 71 (54%) 156 → 71 (54%) 152 → 69 (55%)
40행: 들여쓴 JSON → 압축 JSON 2,446 → 1,606 (34%) 2,460 → 1,581 (36%) 3,180 → 1,980 (38%) 3,210 → 2,010 (37%) 2,446 → 1,567 (36%)
40행: 압축 JSON → CSV 1,606 → 948 (41%) 1,581 → 960 (39%) 1,980 → 1,359 (31%) 2,010 → 1,382 (31%) 1,567 → 946 (40%)
도구 10개: 장황한 설명 → 짧은 설명 1,224 → 806 (34%) 1,214 → 797 (34%) 1,225 → 806 (34%) 1,252 → 827 (34%) 1,202 → 796 (34%)
장황한 도구 10개 → 짧은 도구 3개 1,224 → 258 (79%) 1,214 → 257 (79%) 1,225 → 266 (78%) 1,252 → 276 (78%) 1,202 → 255 (79%)
아랍어 문단: 모음 부호 전체 → 부호 없음 193 → 74 (62%) 267 → 78 (71%) 151 → 62 (59%) 180 → 64 (64%) 218 → 62 (72%)

영어 산문에서는 토크나이저 간 비율이 비슷하므로, 한 모델에서 효과가 있는 절감은 다른 모델에서도 효과가 있습니다. 이 패턴에서 벗어나는 행이 두 개 있습니다. 주문 데이터는 모든 형식에서 Qwen과 Gemma가 DeepSeek과 GLM보다 토큰이 23~46% 더 들었습니다. 이 토크나이저들은 숫자를 한 자리씩 나누기 때문입니다. 100200은 Qwen에서 6토큰, DeepSeek에서 2토큰입니다. 그리고 아랍어 발음 부호는 토크나이저에 따라 영향이 훨씬 컸습니다.

요청 전체로 보면 어떤가요?

원본 텍스트에는 채팅 템플릿이 빠져 있습니다. 같은 고객 질문으로 각 모델의 템플릿을 거쳐 렌더링한 전체 프롬프트를 측정했습니다.

요청 DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B
A. 장황한 시스템 프롬프트 + 장황한 도구 10개 1,677 1,535 1,797
B. 다듬은 시스템 프롬프트 + 짧은 도구 10개 1,052 913 1,176
C. 다듬은 시스템 프롬프트 + 짧은 도구 3개 574 443 636
D. 다듬은 시스템 프롬프트, 도구 없음 136 121 174
C + 이전 20턴 전체 2,374 2,243 2,693
C + 3줄 요약 + 최근 4턴 979 849 1,103

A에서 C로 바꾸자 모든 요청이 약 6571% 줄었습니다(Qwen 64.6%, GLM 71.1%). 대부분은 도구에서 나왔습니다. 장황한 시스템 프롬프트와 함께 렌더링했을 때 장황한 도구 10개는 DeepSeek에서 1,334토큰, GLM에서 1,209토큰, Qwen에서 1,421토큰을 더했습니다. C의 짧은 도구 3개는 D 대비 322462토큰을 더했습니다. 도구 호출 스키마는 모델이 쓰든 안 쓰든 모든 요청에 실려 갑니다.

양이 많아지면 이 차이가 쌓입니다. Qwen3.8 27B에서 A를 C로 바꾸면 요청당 1,161토큰이 줄어듭니다. 월 100,000건이면 입력 토큰 약 1억 1,600만 개, 표준 입력 단가로 월 116 × $0.175 금액입니다.

시스템 프롬프트를 망가뜨리지 않고 다듬으려면 어떻게 하나요?

261단어 프롬프트와 66단어 프롬프트에는 같은 규칙 일곱 개가 들어 있습니다. 줄인 방식은 모두 같은 종류였습니다.

  1. 모델에 대한 공손한 표현을 빼세요. “It is very important that you always remain polite and courteous at all times”(번역: 항상 정중하고 예의 바르게 응대하는 것이 매우 중요합니다)는 통째로 없앴습니다. 역할 문장에 이미 그 뜻이 담겨 있습니다.
  2. 한 줄에 규칙 하나. “Please make sure that you always…”(번역: 반드시 항상 …하도록 하세요) 같은 문장 대신 글머리 기호를 쓰세요.
  3. 중복을 합치세요. 언어에 관한 문장 세 개를 “Reply in the customer’s language (Arabic or English), briefly.”(번역: 고객의 언어(아랍어 또는 영어)로 간결하게 답하세요.) 하나로 합쳤습니다.
  4. 기본 동작을 반복하는 문장을 지우세요. “Remember to always be helpful!”(번역: 항상 도움이 되어야 한다는 것을 잊지 마세요!)는 아무것도 바꾸지 않습니다.

그다음 테스트하세요. 짧아진 프롬프트가 규칙 하나를 잃으면 절감한 것보다 손해가 큽니다. 같은 실제 입력 50~100개에 두 버전을 모두 실행해 비교하세요. 모델을 바꾸기 전에 LLM 평가하기와 같은 방식입니다.

퓨샷 예시는 몇 개가 필요한가요?

대부분의 프롬프트에 들어 있는 것보다 적습니다. 퓨샷 예시 하나하나가 매 호출마다 과금됩니다. 아랍어 분류기의 방언 예시처럼, 없으면 모델이 틀리는 것을 바로잡는 예시는 남기고, 이미 잘 맞히는 예시는 빼세요. 8개 → 3개로 줄이자 예시 블록이 54~56% 줄었습니다. 3개로 충분한지는 토큰이 아니라 정확도의 문제이므로, 테스트 세트로 확인하세요.

도구, 데이터, 이력은 다르게 보내야 하나요?

도구. 현재 단계에서 쓸 수 있는 도구만 보내세요. 요금 문의에는 get_account, get_bill, create_ticket이 필요하지 order_esim은 필요 없습니다. 설명은 모델이 도구를 고르고 채우는 데 필요한 만큼만 남기세요. 여기서는 들여쓰기가 상관없습니다. 렌더링해 본 템플릿은 모두 tools 배열을 tojson으로 다시 직렬화하므로, 들여쓴 tools 배열과 압축한 배열의 비용이 같습니다.

메시지 속 데이터. 메시지에 붙여 넣은 데이터는 쓴 그대로 전송됩니다. 최소한 JSON은 압축하세요. 평평한 레코드라면 CSV나 TSV가 반복되는 키를 없애 줍니다. 테스트에서 압축 JSON보다 토큰이 31~41% 적었습니다. 중첩 데이터는 JSON으로 두세요. 모델이 여전히 열을 제대로 읽는지 확인하세요.

이력. 지난 턴은 모두 다시 전송됩니다. 오래된 턴 16개를 세 줄 요약으로 바꾸고 최근 네 턴을 그대로 두자, Qwen 프롬프트가 2,693토큰에서 1,103토큰으로 줄었습니다. 요약은 사용자가 다시 언급할 수 있는 세부 정보를 버리고, 요약을 다시 쓰면 접두부가 바뀌어 캐싱이 깨집니다. 언제 압축할지는 장시간 실행 에이전트의 컨텍스트 관리에서 다룹니다.

아랍어 발음 부호. 아랍어는 대부분 짧은 모음 부호 없이 씁니다. 사전, 교재, 종교 문헌에서 온 입력처럼 모음 부호가 모두 붙어 있다면, 부호(U+064BU+0652)를 제거하자 문단이 5972% 줄었습니다. 교육이나 시처럼 작업이 부호에 의존한다면 남겨 두세요. 정규화할 가치가 있는 다른 문자는 아랍어 텍스트 정규화에서, 영어와의 더 큰 차이는 아랍어 단어당 토큰 수에서 다룹니다.

캐싱은 어디에 들어가나요?

캐싱은 프롬프트를 줄이지 않습니다. 반복되는 부분을 더 싸게 만들 뿐입니다. OpenAI 캐싱 가이드는 “the entire rendered prefix”(번역: 렌더링된 접두부 전체)가 일치해야 한다고 하며, 고정된 지시를 앞에 두라고 권합니다. BroadNet 가격 페이지는 캐시된 입력을 “usually the repeated start of recent requests, such as a long system prompt”(번역: 대개 긴 시스템 프롬프트처럼 최근 요청의 반복되는 시작 부분)라고 설명하며 별도 설정이 필요 없다고 하고, 문서는 적중 수를 usage.prompt_tokens_details.cached_tokens에 보고한다고 밝힙니다.

그러므로 순서는 이렇습니다. 먼저 줄이고, 그다음 줄인 접두부를 고정하세요. 시스템 프롬프트와 도구를 맨 앞에 두고 매 호출마다 바이트 단위까지 똑같이 유지합니다. 그다음 이력은 뒤에 덧붙이기만 하고, 새 메시지를 마지막에 둡니다. Qwen3.8 27B에서 캐시된 입력은 100만 토큰당 $0.0435, 새 입력은 $0.175 요금입니다. 구성 방법과 접두부 재사용을 증명하는 테스트는 캐싱을 위한 프롬프트 구성에 있습니다. 캐시된 토큰도 컨텍스트 윈도우에는 포함됩니다.

내 프롬프트는 어떻게 측정하나요?

청구액부터 시작하세요. 하루 동안 호출 위치별로 usage.prompt_tokens를 기록하고 가장 큰 곳을 찾으세요. 그다음 이 스크립트로 로컬에서 버전을 비교하세요. 두 파일의 전후 토큰 수를 출력합니다.

# pip install tokenizers tiktoken huggingface_hub
import json, sys
import tiktoken
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer

def hf(repo, rev):
    return Tokenizer.from_file(hf_hub_download(repo, "tokenizer.json", revision=rev))

COUNTERS = {
    "Qwen3.8 27B": hf("Qwen/Qwen3.8-27B", "37561816e66b5b9153b1b64c10968c18c1e6f4a0").encode,
    "GPT o200k": tiktoken.get_encoding("o200k_base").encode,
}

def n(enc, text):
    out = enc(text)
    return len(out.ids if hasattr(out, "ids") else out)

def diff(before, after):
    for name, enc in COUNTERS.items():
        a, b = n(enc, before), n(enc, after)
        print(f"{name:12} {a:6} -> {b:6}  saved {a - b} ({100 * (a - b) / a:.0f}%)")

if __name__ == "__main__":
    diff(open(sys.argv[1], encoding="utf-8").read(), open(sys.argv[2], encoding="utf-8").read())

저희 시스템 프롬프트 두 개로 실행한 결과입니다.

Qwen3.8 27B     297 ->     95  saved 202 (68%)
GPT o200k       293 ->     86  saved 207 (71%)

출처 목록의 다른 모델 저장소를 추가하면 네 모델을 모두 비교할 수 있습니다. 브라우저에서 빠르게 확인하려면 프롬프트 토큰 비교 도구로 두 버전을 나란히 비교하고, 토큰 카운터로 하나를 세어 보세요. 배포한 뒤에는 템플릿까지 포함하는 usage.prompt_tokens로 절감 효과를 확인하세요.

BroadNet Inference는 어디에 적합한가요?

BroadRouter는 BroadNet의 사이트입니다. BroadNet Inference는 프롬프트 토큰을 각 모델의 입력 단가로 과금하고, 캐시된 입력 가격이 있는 모델에서는 반복되는 접두부를 캐시에서 읽어 캐시 단가로 과금하므로, 짧은 프롬프트와 고정된 접두부 모두 청구액을 낮춥니다. Gemma 4 VL 26B는 컨텍스트가 32,768토큰이라, 줄이는 것이 비용뿐 아니라 프롬프트가 들어가느냐의 문제이기도 합니다. DeepSeek V4.1 Flash 플랜에는 토큰 계량이 없지만 1,048,576토큰 컨텍스트 제한은 그대로 적용되고, 짧은 프롬프트가 여전히 더 빨리 응답합니다. 프롬프트는 각 요청 후 보관되지 않습니다.

자주 묻는 질문

프롬프트의 토큰 수는 어떻게 줄이나요?

먼저 측정하세요. usage.prompt_tokens를 기록하고 가장 큰 부분을 찾으세요. 그다음 측정에서 절감 효과가 컸던 순서대로 하세요. 해당 단계에 필요한 도구만 보내고, 도구와 시스템 프롬프트 문구를 줄이고, 표는 JSON이 아니라 CSV로 보내고, 퓨샷 예시는 결과를 바꾸는 것만 남기고, 오래된 대화 턴은 요약하세요.

들여쓰기한 JSON은 토큰을 더 많이 쓰나요?

네. 테스트에서 들여쓴 JSON 40행을 압축하면 토크나이저에 따라 토큰이 34~38% 줄었고, CSV로 보내면 57~61% 줄었습니다. 반대로 말하면 들여쓴 JSON은 압축 JSON보다 52~61%, CSV보다 132~159% 토큰이 많았습니다. 도구 스키마는 예외입니다. 채팅 템플릿이 다시 직렬화하므로 tools 배열의 들여쓰기는 모델에 전달되지 않습니다.

도구 정의는 토큰을 얼마나 쓰나요?

문구와 모델의 템플릿에 따라 다릅니다. 설명이 장황한 도구 10개는 DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B에서 렌더링된 프롬프트에 약 1,200~1,400토큰을 더했습니다. 설명이 짧은 도구 3개는 약 320~460토큰을 더했습니다.

아랍어 발음 부호는 토큰 수를 늘리나요?

크게 늘립니다. 31단어짜리 현대 표준 아랍어 문단은 토크나이저 다섯 개에서 발음 부호 없이 62~78토큰, 모음 부호를 모두 붙이면 151~267토큰이었습니다. 대부분의 아랍어 텍스트는 부호 없이 쓰므로, 시나 교육처럼 작업에 필요한 경우가 아니면 입력에서 제거하세요.

프롬프트 캐싱이 프롬프트 줄이기보다 나은가요?

둘은 함께 작동합니다. 캐싱은 반복되는 접두부를 더 싸게 만들지만, 여전히 컨텍스트 윈도우에 포함되고 가격도 있습니다. 먼저 줄인 다음, 줄인 접두부를 모든 요청의 시작 부분에 바이트 단위까지 똑같이 두어 캐시에서 읽히게 하세요.

직접 센 토큰 수가 API의 prompt_tokens와 다른 이유는 무엇인가요?

API는 렌더링된 프롬프트를 셉니다. 채팅 템플릿으로 감싼 메시지에, 템플릿 고유 형식의 도구 스키마가 더해진 것입니다. 원본 텍스트에 토크나이저를 돌리면 이 부분이 빠집니다. 버전 비교에는 토크나이저를, 청구액에는 usage.prompt_tokens를 쓰세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기