BroadRouter

캐시된 입력 토큰(cached input tokens)

업데이트

캐시된 입력 토큰은 LLM 제공업체가 최근에 처리해 두었다가 다시 계산하지 않고 캐시에서 재사용할 수 있는 프롬프트 토큰입니다. 보통 시스템 프롬프트나 문서처럼 반복되는 접두부(prefix)이며, 제공업체는 이를 새 입력 토큰보다 낮은 단가로 과금합니다.

다른 이름: 프롬프트 캐싱, 캐시 적중, 캐시 토큰, 캐시된 입력, 컨텍스트 캐싱, cached input tokens, prompt caching, cache hits, cached tokens, context caching, cache read tokens

에이전트가 보내는 내용은 대부분 매 턴마다 같습니다. 프롬프트 캐싱을 쓰면 제공업체가 반복되는 부분을 다시 계산하지 않아도 되고, 그만큼 더 낮은 가격으로 과금합니다.

작동 방식

모델은 프롬프트를 읽을 때 모든 토큰에 대해 내부 상태를 계산합니다. 제공업체는 이 상태를 잠시 보관할 수 있습니다. 다음 요청이 같은 토큰으로 시작하면, 제공업체는 다시 계산하는 대신 저장된 상태를 읽습니다. 이 토큰이 캐시된 입력 토큰입니다.

캐시는 프롬프트의 시작 부분부터 일치 여부를 봅니다. OpenAI 가이드에 따르면 재사용은 “requires the entire rendered prefix to match”(번역: 렌더링된 접두부 전체가 일치해야 합니다). 프롬프트 앞부분에서 글자 하나만 바뀌어도 그 뒤는 모두 새 입력이 됩니다.

세부 사항은 제공업체마다 다릅니다.

  • OpenAI는 지원 모델에서 캐싱을 기본으로 켜 두고, 캐시 적중을 usage 블록에 보고합니다. 최신 모델에서는 최소 접두부 길이를 1,024 토큰으로 문서화하고 있습니다.
  • Anthropic은 대부분의 모델에서 캐시 읽기를 기본 입력 가격의 0.1배로 과금하고, 캐시 쓰기에는 할증을 붙이며, 항목을 기본 5분 동안 보관합니다.

Chat Completions 형식에서는 캐시 적중이 usage.prompt_tokens_details.cached_tokens에 표시됩니다. 캐시 비율은 이 값을 prompt_tokens로 나눈 것입니다.

왜 중요한가

길고 반복되는 프롬프트에서는 캐시 비율이 요금을 결정합니다. 매 턴마다 200,000 토큰짜리 저장소를 다시 보내는 에이전트는, 접두부가 안정적으로 유지되는 한 처음 한 번만 전체 입력 가격을 내고 그 뒤로는 캐시 가격을 냅니다. 생성 시작 전에 해야 할 작업이 줄어들기 때문에, 캐싱은 긴 프롬프트에서 첫 토큰까지의 시간도 줄일 수 있습니다.

비율을 높이려면 변하지 않는 내용(시스템 프롬프트, 도구 정의, 문서)을 앞에, 바뀌는 내용을 뒤에 두세요. 타임스탬프와 요청 ID는 프롬프트 맨 앞에 두지 말고, 도구 목록은 고정된 순서로 유지하세요. 제공업체의 공개 가격 중 캐시된 입력 가격을 포함하는 비율과 일반적인 할인 폭은 LLM API 가격 지수에서 볼 수 있습니다.

BroadNet Inference에서는

BroadNet은 채팅 모델 세 개에 대해 캐시된 입력 가격을 100만 토큰 기준으로 공개합니다.

모델 새 입력 캐시된 입력
DeepSeek V4.1 Flash $0.175 $0.0055
GLM 5.3 $0.78 $0.173
Qwen3.8 27B $0.175 $0.0435

캐시된 토큰은 자동으로 더 낮은 가격으로 과금되며, 모델이 보고하는 경우 prompt_tokens_details.cached_tokens에 표시됩니다. 스트림에서는 스트리밍 가이드에 나온 대로 stream_options로 사용량을 요청하세요.

정액 플랜에는 토큰 미터가 없으므로 캐시 비율이 요금에 영향을 주지 않습니다. 캐시 비율을 기록하는 코드가 포함된 전체 설명은 캐시된 입력 토큰 설명에 있습니다.

자주 묻는 질문

캐시된 토큰도 컨텍스트 윈도우에 포함되나요?

네. 캐싱은 그 토큰에 내는 가격을 바꿀 뿐, 포함 여부는 바꾸지 않습니다. Anthropic 문서에도 이 점이 명시되어 있습니다.

캐시는 얼마 동안 유지되나요?

제공업체마다 다릅니다. Anthropic의 기본 수명은 5분이며, 캐시가 사용될 때마다 갱신되고, 선택적으로 1시간 수명도 쓸 수 있습니다. 다른 제공업체는 고정된 시간을 항상 공개하지는 않으므로, 캐시 적중률을 직접 측정하세요.

캐싱하면 답변이 달라지나요?

아니요. 캐시에는 답변이 아니라 프롬프트에 대해 수행한 계산이 저장됩니다. 모델은 여전히 새 답변을 생성합니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기