---
title: "LLM API 응답 캐싱으로 비용 절감(Python, SQLite) | BroadRouter"
description: "테스트를 거친 Python용 LLM API 응답 정확 일치 캐시. 키에 넣을 것, 절대 캐시하면 안 되는 것, TTL, 개인정보, 구축 전 적중률 측정법을 다룹니다."
url: https://broadrouter.com/ko/blog/cache-llm-responses-cut-cost/
lang: ko
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/blog/cache-llm-responses-cut-cost/) (2026-11-15 업데이트).

# LLM API 응답 캐싱으로 비용 줄이기: Python 정확 일치 캐시

BroadNet Inference 팀 · 8분 분량 · 게시 2026-11-15

전체 요청(model, messages, temperature, max\_tokens, response\_format, tools, 추론 설정, 프롬프트 버전)을 해시해 키로 만들고, 그 키에 답변을 만료 시간과 함께 저장하세요. 저장된 답변은 결정적이고 부수 효과가 없는 요청에만 돌려주세요. 먼저 로그에서 똑같은 요청이 얼마나 자주 반복되는지 측정하세요. 그 비율이 정확 일치 캐시로 아낄 수 있는 최대치입니다.

## 핵심 요약

-   정확 일치 캐시는 출력과 추론 토큰까지 포함해 호출 전체를 아끼지만, 바이트 단위로 똑같은 요청에만 해당합니다. 다르게 표현한 질문은 항상 빗나갑니다.
-   답변을 바꿀 수 있는 모든 파라미터와 프롬프트 버전을 키에 넣으세요. 하나라도 빠지면 틀린 답이 나가고, 타임스탬프 같은 잡음을 넣으면 모든 요청이 빗나갑니다.
-   샘플링된 답변(temperature 0 초과), 스트리밍 답변, 도구 호출, max\_tokens에서 잘린 답변은 캐시하지 마세요.
-   먼저 측정하세요. 사용량 로그에서 요청마다 해시를 만들고 반복 횟수를 세세요. 공개된 절감 수치는 내 트래픽에 대해 아무것도 말해 주지 않습니다.
-   캐시는 프롬프트와 답변을 저장합니다. 제공업체가 추론 콘텐츠를 보관하지 않는다면 이제 그 콘텐츠는 캐시에 있으므로, TTL과 접근 규칙을 두세요.

**이 페이지의 내용**

1.  응답 캐싱은 프롬프트 캐싱과 같은 건가요?
2.  캐시가 실제로 비용을 줄여 줄까요?
3.  캐시 키에는 무엇을 넣나요?
4.  캐시: SQLite, TTL, 건너뛰기 정책
5.  캐시로 절대 응답하면 안 되는 것은 무엇인가요?
6.  캐시된 답변은 언제 만료되어야 하나요?
7.  시맨틱 캐싱은 어떤가요?
8.  캐시는 개인정보 측면에서 무엇을 의미하나요?
9.  캐싱은 다른 비용 통제 수단과 어떻게 어울리나요?
10.  BroadNet Inference는 어디에 적합한가요?

똑같은 LLM 요청을 두 번 보내면 두 번 비용을 냅니다. 응답 캐시는 처음 받은 답변을 저장해 두었다가 다음에는 그 답변을 돌려주므로, 과금되는 토큰도 기다리는 시간도 없습니다. 아이디어는 간단합니다. 어려운 부분은 두 요청이 “똑같다”는 기준을 정하는 것, 저장된 답변으로 절대 응답하면 안 되는 요청을 가려내는 것, 그리고 트래픽이 의미 있을 만큼 반복되는지 판단하는 것입니다.

이 글에서는 SQLite 기반의 작은 정확 일치 캐시를 Python으로 만들어 모의 OpenAI 호환 서버로 테스트하고, 한 줄도 작성하기 전에 로그에서 적중률을 측정하는 방법을 보여 드립니다.

## 응답 캐싱은 프롬프트 캐싱과 같은 건가요?

아닙니다. 아끼는 대상이 다르며, 둘 다 함께 쓸 수 있습니다.

|  | 프롬프트 캐싱(제공업체) | 응답 캐싱(직접 구현) |
| --- | --- | --- |
| 재사용하는 것 | 프롬프트의 반복되는 시작 부분 | 답변 전체 |
| 실행 주체 | API 제공업체 | 직접 작성한 코드 |
| 모델이 여전히 실행되나? | 예, 새 답변을 씀 | 아니요 |
| 아끼는 것 | 입력 비용의 일부 | 입력, 출력, 추론 토큰과 지연 시간 |
| 적중 조건 | 접두부 공유, 질문은 다름 | 완전히 똑같은 요청 |

제공업체 쪽은 [캐시된 입력 토큰](https://broadrouter.com/ko/blog/cached-input-tokens-explained/)에서, 접두부가 재사용되도록 프롬프트를 배치하는 방법은 [캐싱을 위한 프롬프트 구성](https://broadrouter.com/ko/blog/prompt-structure-for-caching/)에서 설명합니다. 비용은 [프롬프트 캐싱 계산기](https://broadrouter.com/tools/prompt-caching-calculator/)로 계산할 수 있습니다. 응답 캐시는 그 모든 것의 앞단에 놓입니다. 적중하면 요청이 서버 밖으로 나가지 않습니다.

## 캐시가 실제로 비용을 줄여 줄까요?

만들기 전에 측정하세요. 많은 캐싱 튜토리얼에 나오는 절감 비율은 다른 사람의 트래픽에서 나온 것입니다. 내 수치는 한 가지에 달려 있습니다. 만료 기간 안에 같은 요청이 얼마나 자주 다시 들어오느냐입니다.

[LLM API 사용량 로깅](https://broadrouter.com/ko/blog/llm-api-usage-logging/)처럼 이미 호출마다 기록하고 있다면 필드 하나를 추가하세요. 아래에서 설명할 캐시 키인 `request_hash`입니다. 프롬프트 텍스트를 담지 않으므로 콘텐츠를 남기지 않는 로그에도 맞습니다. 그다음 반복을 세세요.

```python
import json
from collections import Counter

def potential_hit_rate(log_path: str) -> float:
    """Share of calls whose request_hash was already seen: an upper bound for an exact cache."""
    hashes = [json.loads(line)["request_hash"] for line in open(log_path)]
    seen, repeats = set(), 0
    for h in hashes:
        repeats += h in seen
        seen.add(h)
    print("top repeated requests:", Counter(hashes).most_common(3))
    return repeats / len(hashes) if hashes else 0.0

print(f"potential hit rate: {potential_hit_rate('calls.jsonl'):.1%}")
```

호출 20건(요청 하나가 5번, 다른 하나가 3번, 나머지 12건은 고유)으로 만든 합성 로그에서 잠재 적중률은 30.0%로 출력되었습니다. 이는 상한입니다. 만료를 무시하고, 모든 반복이 저장된 답변으로 응답해도 안전하다고 가정하기 때문입니다.

그다음 비율을 금액으로 바꾸세요.

```text
monthly saving = hit rate × requests per month
                 × (input tokens × input price + output tokens × output price) ÷ 1,000,000
```

출력 토큰에는 추론이 포함됩니다. BroadNet 문서에 따르면 DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답하기 전에 추론하며 추론은 `max_tokens`에 포함되므로, 적중하면 답변에는 보이지 않는 토큰까지 아끼게 됩니다. 답변 길이가 아니라 기록된 `usage`의 `completion_tokens`를 쓰세요.

토큰으로 계산한 예시입니다. 요청당 입력 1,200토큰, 출력 150토큰짜리 요청이 월 100,000건이고 적중률이 30%라면, 입력 토큰 3,600만 개와 출력 토큰 450만 개를 피할 수 있습니다. [DeepSeek V4.1 Flash](https://broadrouter.com/ko/models/deepseek-v4.1-flash/)에서는 각각 100만 토큰당 $0.175, $0.52 요금으로 과금되는 분량입니다. 자신의 수치는 [LLM API 비용 계산기](https://broadrouter.com/tools/llm-api-cost-calculator/)에 넣어 보세요. 그 입력의 대부분이 이미 제공업체 캐시에서 적중하고 있었다면 입력 절감액은 더 낮은 캐시 단가(같은 모델에서 100만 토큰당 $0.0055 요금) 기준이므로, 중요한 것은 대개 출력 쪽입니다.

## 캐시 키에는 무엇을 넣나요?

답변을 바꿀 수 있는 모든 것, 그리고 그 밖의 것은 넣지 않습니다.

-   **넣을 것:** `model`, 전체 `messages` 목록(시스템 프롬프트 포함), `temperature`, `top_p`, `max_tokens`, `seed`, `response_format`, `tools`, `tool_choice`, `reasoning_effort`.
-   **직접 관리하는 프롬프트 버전을 추가하세요.** 예: `faq-v3`. 요청 본문에 드러나지 않는 프롬프트 템플릿, 검색 데이터, 후처리를 바꿀 때 올리세요.
-   **뺄 것:** 답변은 바꾸지 않으면서 호출마다 달라지는 모든 것. 요청 ID, 타임스탬프, 추적 헤더, 남용 추적용으로만 보내는 `user` 필드.

키 재료는 매번 같은 방식으로 직렬화하세요. Python의 `json.dumps`에 `sort_keys=True`와 `separators=(",", ":")`를 주면 딕셔너리 순서와 상관없이 하나의 정규 문자열이 나오고, `ensure_ascii=False`를 주면 아랍어 등 비라틴 문자가 이스케이프 대신 UTF-8로 유지됩니다. 이를 SHA-256으로 해시하세요.

필드 누락은 위험한 실수입니다. `max_tokens`가 키에 없으면, 작은 한도에서 잘린 답변이 긴 답변을 허용한 요청에 그대로 나갑니다.

## 캐시: SQLite, TTL, 건너뛰기 정책

```python
import hashlib, json, sqlite3, time

# Every field that changes the answer belongs in the key.
KEY_FIELDS = ("model", "messages", "temperature", "top_p", "max_tokens", "seed",
              "response_format", "tools", "tool_choice", "reasoning_effort")

def cache_key(params: dict, prompt_version: str) -> str:
    material = {k: params[k] for k in KEY_FIELDS if k in params}
    material["prompt_version"] = prompt_version
    canon = json.dumps(material, sort_keys=True, separators=(",", ":"), ensure_ascii=False)
    return hashlib.sha256(canon.encode("utf-8")).hexdigest()

class ResponseCache:
    def __init__(self, path="llm_cache.sqlite", ttl_s=7 * 86400):
        self.db, self.ttl = sqlite3.connect(path), ttl_s
        self.db.execute("CREATE TABLE IF NOT EXISTS cache (k TEXT PRIMARY KEY, created REAL,"
                        " body TEXT, prompt_tokens INT, completion_tokens INT)")
        self.hits = self.misses = self.skips = self.saved_in = self.saved_out = 0

    def create(self, client, prompt_version: str, **params):
        if params.get("stream") or params.get("temperature", 1) > 0:
            self.skips += 1                       # not cacheable: call the model directly
            return client.chat.completions.create(**params)
        k = cache_key(params, prompt_version)
        row = self.db.execute("SELECT body, created, prompt_tokens, completion_tokens"
                              " FROM cache WHERE k = ?", (k,)).fetchone()
        if row and time.time() - row[1] < self.ttl:
            self.hits += 1; self.saved_in += row[2]; self.saved_out += row[3]
            return json.loads(row[0])             # a plain dict, not an SDK object
        self.misses += 1
        r = client.chat.completions.create(**params)
        choice = r.choices[0]
        if choice.finish_reason == "stop" and not choice.message.tool_calls:
            self.db.execute("INSERT OR REPLACE INTO cache VALUES (?, ?, ?, ?, ?)",
                            (k, time.time(), r.model_dump_json(),
                             r.usage.prompt_tokens, r.usage.completion_tokens))
            self.db.commit()
        return r.model_dump()
```

그리고 이를 실행한 예입니다.

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
cache = ResponseCache("demo.sqlite", ttl_s=86400)
SYSTEM = {"role": "system", "content": "Answer questions about our refund policy in one sentence."}
questions = ["How long do refunds take?", "Can I refund a gift card?",
             "How long do refunds take?", "How long do refunds take?", "Can I refund a gift card?"]
for q in questions:
    r = cache.create(client, "faq-v3", model="broadnet/deepseek-v4.1-flash", temperature=0,
                     max_tokens=1200, messages=[SYSTEM, {"role": "user", "content": q}])
    print(r["choices"][0]["message"]["content"])
# a personalised, sampled request is never cached
cache.create(client, "faq-v3", model="broadnet/deepseek-v4.1-flash", temperature=0.7,
             messages=[SYSTEM, {"role": "user", "content": "Write me a friendly reminder"}])
# a new prompt version is a new key
cache.create(client, "faq-v4", model="broadnet/deepseek-v4.1-flash", temperature=0,
             max_tokens=1200, messages=[SYSTEM, {"role": "user", "content": "How long do refunds take?"}])
print(f"hits={cache.hits} misses={cache.misses} skipped={cache.skips} "
      f"saved_input={cache.saved_in} saved_output={cache.saved_out}")
```

OpenAI Python SDK 3.51.0으로, 업스트림 호출 수를 세고 답변마다 프롬프트 1,200토큰과 completion 150토큰을 보고하는 로컬 모의 서버에 대해 실행했습니다(실제 API 호출 없음). 요청 7건에서 업스트림 호출은 4번이었습니다. 스크립트는 `hits=3 misses=3 skipped=1 saved_input=3600 saved_output=450`을 출력했습니다. 같은 데이터베이스 파일로 다시 실행하자 캐시 가능한 요청 6건이 모두 적중했습니다(`hits=6 misses=0`). SQLite는 재시작해도 캐시를 유지합니다. 같은 필드를 다른 순서로 만든 키도 일치했습니다.

코드에 대한 참고 사항:

-   \*\*`max_tokens=1200`\*\*은 답변 전에 추론할 여유를 남깁니다. 한도가 작으면 추론 모델이 빈 답변을 돌려줄 수 있습니다([이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)). 이런 답변은 `finish_reason`이 `stop`이 아니라 `length`이므로 저장되지 않습니다.
-   **적중 시 dict를 반환합니다.** 빗나갈 때도 `model_dump()`를 반환하므로 호출하는 쪽은 한 가지 형태만 봅니다. 코드가 SDK 객체를 기대한다면 둘 다 감싸세요.
-   **`temperature`가 없으면 샘플링으로 간주합니다.** 그러면 서버가 자체 기본값을 적용하는데, 0보다 클 수 있으므로 명시적으로 0을 지정하지 않는 한 래퍼는 캐싱을 건너뜁니다.
-   **SQLite는 프로세스 하나 또는 몇 개에 적합합니다.** 서버가 여러 대라면 같은 키와 TTL 로직을 Redis나 데이터베이스에 두세요.

## 캐시로 절대 응답하면 안 되는 것은 무엇인가요?

-   **샘플링된 답변(temperature 0 초과).** 다양성을 선택한 것입니다. 캐싱하면 그 다양성이 사라지고, “다시 생성”을 누른 사용자가 같은 텍스트를 받습니다.
-   **개인화된 답변.** 사용자 ID가 키에 들어 있지 않다면 안 됩니다. “내 계정 요약해 줘”를 보낸 두 사용자는 계정이 다릅니다. 더 나은 방법은 메시지에 사용자별 데이터가 없는 요청만 캐시하는 것입니다.
-   **도구 호출.** [도구 호출](https://broadrouter.com/ko/glossary/tool-calling/)은 행동하라는 지시입니다. 저장된 “주문 1182 환불”을 재생하면 부수 효과가 반복될 수 있고, 올바른 다음 단계는 현재 상태에 달려 있습니다. 래퍼는 `tool_calls`가 있는 답변은 저장하지 않습니다.
-   **스트리밍 답변.** 래퍼는 `stream=True`일 때 캐시를 우회합니다. 스트림을 캐시하려면 버퍼에 담고, 끝났는지 확인하고, 재생해야 하는데, 채팅 UI에서는 그럴 가치가 거의 없습니다.
-   **잘렸거나 실패한 답변.** `finish_reason == "stop"`인 것만 저장하세요. 잘린 답변이나 오류가 1주일간 캐시되면 모델 문제처럼 보이는 버그가 됩니다.
-   **시간에 따라 달라지는 답변.** “오늘 환율이 얼마인가요?”에는 짧은 TTL을 쓰거나 캐시하지 마세요.

캐시가 잘 맞는 것: 고정된 입력 집합의 분류, 다시 처리하는 문서에서의 추출, 고정된 프롬프트로 만든 FAQ 답변, 다시 돌리는 테스트 스위트와 평가, 같은 요청을 반복해서 보내는 개발 루프.

## 캐시된 답변은 언제 만료되어야 하나요?

세 가지 무효화 방식을 쓰세요.

1.  **TTL.** 항목별 시간 제한입니다. 안정적인 FAQ 답변은 며칠, 실시간 데이터를 읽는 것은 몇 분.
2.  **키에 넣은 버전.** 시스템 프롬프트, 검색 인덱스, 출력 스키마가 바뀌면 프롬프트 버전을 바꾸세요. 이전 항목은 더 이상 일치하지 않고 만료됩니다.
3.  **키에 넣은 모델.** 이미 들어 있으므로, 다른 모델로 옮기면 새 캐시가 시작됩니다. [모델 전환을 평가](https://broadrouter.com/ko/blog/evaluate-llm-before-switching/)하는 동안에는 바로 이렇게 되어야 합니다.

만료된 행은 정해진 주기로 삭제하세요(`DELETE FROM cache WHERE created < ?`). 그렇지 않으면 파일이 계속 커지기만 합니다.

부수적인 이점도 있습니다. 서빙 엔진은 같은 입력에 같은 출력을 약속하지 않습니다. vLLM 문서는 “does not guarantee the reproducibility of the results by default”(번역: 기본적으로 결과의 재현성을 보장하지 않음)라고 밝힙니다. 캐시는 항목이 유효한 동안 같은 질문에 모든 사용자에게 같은 답을 줍니다.

## 시맨틱 캐싱은 어떤가요?

시맨틱 캐시는 질문마다 임베딩을 만들고, 새 질문이 충분히 가까우면 저장된 답변을 돌려줍니다. 그래서 “환불은 얼마나 걸려?”가 “환불 처리 기간이 어떻게 되나요?”에 적중할 수 있습니다. GPTCache가 가장 잘 알려진 오픈소스 예입니다. README에 따르면 유사도 검색에 벡터 저장소를, 적중 판단에 유사도 평가기를 쓰며, “you may encounter false positives during cache hits and false negatives during cache misses”(번역: 캐시 적중 시 거짓 양성, 캐시 미스 시 거짓 음성이 발생할 수 있음)라고 경고하고, 임베딩을 끄면 키워드 일치 캐시가 된다고 설명합니다.

실무적인 점 두 가지. 첫째, [임베딩](https://broadrouter.com/ko/glossary/embeddings/) 모델과 벡터 저장소가 필요합니다. BroadNet Inference는 임베딩을 제공하지 않으므로, 그 계층에는 다른 제공업체나 로컬 모델을 써야 합니다. 선택지별 비용은 [임베딩 비용 계산기](https://broadrouter.com/tools/embedding-cost-calculator/)로 계산할 수 있습니다. 둘째, 잘못된 적중은 다른 질문에 대한 답을 자신 있게 돌려줍니다. 엄격한 유사도 임계값을 쓰고, 실제로 비슷하지만 다른 질문 쌍으로 테스트하고, 시맨틱 캐싱은 중요도가 낮은 답변에만 쓰세요. 어느 경우든 정확 일치 캐시를 앞에 두세요. 확인 비용이 들지 않고, 무엇을 물었는지에 대해서는 절대 틀리지 않습니다.

## 캐시는 개인정보 측면에서 무엇을 의미하나요?

캐시는 프롬프트와 답변의 저장소입니다. 데이터가 머무는 위치가 바뀝니다.

2026-11-15에 확인한 BroadNet [추론 개인정보 처리 방침](https://www.broadnet.ai/inference-privacy)에 따르면, 게이트웨이는 프롬프트, 메시지, 응답, 전사본을 보관하지 않고, 콘텐츠 없는 트래픽·사용량 기록(토큰 수, 비용, 시간)은 보관합니다. 추론 콘텐츠는 보관되지 않습니다. 필요한 계정·결제·보안 메타데이터는 방침에 설명된 대로 보관됩니다. 응답 캐시를 추가하면, 제공업체가 보관하지 않는 콘텐츠를 내 시스템이 보관하게 됩니다. 다른 사용자 데이터 저장소와 똑같이 다루세요.

-   가능하면 개인 데이터가 없는 요청만 캐시하세요. 적중률도 올라갑니다.
-   보관 정책에 맞을 만큼 짧은 TTL을 정하고, 정해진 주기로 삭제하세요.
-   파일이나 테이블을 저장 시 암호화하고, 읽을 수 있는 사람을 제한하세요.
-   캐시에 사용자 텍스트가 들어갈 수 있다면 데이터 삭제 요청 대상에 캐시도 포함하세요.

체크리스트의 나머지는 [LLM API에 민감한 데이터 보내기](https://broadrouter.com/ko/blog/llm-api-sensitive-data/)에서 다룹니다.

## 캐싱은 다른 비용 통제 수단과 어떻게 어울리나요?

캐싱은 반복되는 호출을 없앱니다. 고유한 호출에는 아무 효과가 없으므로, 다른 통제 수단을 대체하지 않고 그 옆에 놓입니다. [더 짧은 프롬프트](https://broadrouter.com/ko/blog/reduce-prompt-tokens/), 제공업체 프롬프트 캐싱, 요청별 `max_tokens` 상한, 그리고 [LLM API 비용 통제](https://broadrouter.com/ko/blog/llm-api-spend-control/)의 예산과 루프 한도입니다. 일회성 대규모 작업이라면 보내기 전에 입력의 중복을 제거하세요. 캐시와 같은 아이디어를 한 번에 적용하는 것입니다. 작업 쪽은 [Batch API 없이 대규모 작업 처리하기](https://broadrouter.com/ko/blog/llm-batch-processing-without-batch-api/)에서 보여 드립니다.

정액 플랜에서는 계산이 달라집니다. BroadNet의 DeepSeek 세션에는 토큰 계량이 없으므로 캐시가 적중해도 돈은 아끼지 못합니다. 그래도 시간은 아낍니다. 세션은 한 번에 요청 1개를 처리하므로, 건너뛴 반복 하나하나가 새 작업을 위해 세션을 비워 줍니다.

## BroadNet Inference는 어디에 적합한가요?

BroadRouter는 BroadNet의 사이트입니다. BroadNet Inference는 DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B, Gemma 4 VL 26B를 OpenAI 호환 `/v1/chat/completions` 엔드포인트로 제공하므로, 위의 래퍼는 base URL만 바꾸면 [OpenAI Python SDK](https://broadrouter.com/ko/guides/openai-python-sdk/)와 함께 동작합니다. 자체 응답 캐싱 기능은 없으며, 이 글의 캐시는 직접 운영하는 것입니다. [API 레퍼런스](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-cache-llm-responses-cut-cost&utm_content=body)에 따르면 제공업체 쪽 캐시 적중은 `usage.prompt_tokens_details.cached_tokens`에 보고되고 캐시된 입력 단가로 과금됩니다. 모델별 가격은 [가격 페이지](https://inference.broadnet.ai/pricing?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-cache-llm-responses-cut-cost&utm_content=body)에 있습니다.

관련 무료 도구 (영어)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[무료 도구 (영어)](https://broadrouter.com/tools/)

## 이 글의 용어

[캐시된 입력 토큰(cached input tokens)](https://broadrouter.com/ko/glossary/cached-input-tokens/)

캐시된 입력 토큰은 LLM 제공업체가 최근에 처리해 두었다가 다시 계산하지 않고 캐시에서 재사용할 수 있는 프롬프트 토큰입니다. 보통 시스템 프롬프트나 문서처럼 반복되는 접두부(prefix)이며, 제공업체는 이를 새 입력 토큰보다 낮은 단가로 과금합니다.

[임베딩(embedding)](https://broadrouter.com/ko/glossary/embeddings/)

임베딩은 모델이 텍스트, 이미지 등의 입력을 표현하기 위해 만드는 부동소수점 숫자 목록(벡터)입니다. 의미가 비슷한 입력은 서로 가까운 벡터를 얻으므로, 벡터 사이의 거리로 검색 결과의 순위를 매기거나 문서를 군집화하거나 관련 항목을 찾을 수 있습니다.

[도구 호출(tool calling)](https://broadrouter.com/ko/glossary/tool-calling/)

도구 호출(tool calling)은 함수 호출(function calling)이라고도 하며, 모델이 개발자가 정의한 함수를 실행해 달라는 구조화된 요청을 JSON 인자와 함께 반환하는 LLM API 기능입니다. 함수는 애플리케이션이 실행하고 그 결과를 다시 보냅니다. 모델이 직접 코드를 실행하지는 않습니다.

[입력 토큰과 출력 토큰(input and output tokens)](https://broadrouter.com/ko/glossary/input-and-output-tokens/)

입력 토큰은 언어 모델이 요청에서 읽는 토큰으로, 시스템 프롬프트, 대화 기록, 도구 정의, 이미지가 포함됩니다. 출력 토큰은 모델이 응답으로 생성하는 토큰으로, 추론도 포함됩니다. LLM API는 보통 둘에 따로 가격을 매기며, 대개 출력이 더 비쌉니다.

[OpenAI 호환 API(OpenAI-compatible API)](https://broadrouter.com/ko/glossary/openai-compatible-api/)

OpenAI 호환 API는 POST /v1/chat/completions처럼 OpenAI API와 같은 요청 및 응답 형식을 받는 HTTP API입니다. 그래서 OpenAI SDK와 도구는 base URL, API 키, 모델 이름만 바꾸면 이 API를 그대로 사용할 수 있습니다.

[PII(개인 식별 정보)](https://broadrouter.com/ko/glossary/pii/)

PII(개인 식별 정보)는 이름, 신분 번호, 생체 기록처럼 개인의 신원을 구별하거나 추적하는 데 쓸 수 있는 정보와, 그 사람과 연결되거나 연결될 수 있는 기타 정보입니다. GDPR은 더 넓은 용어인 개인 데이터를 씁니다. LLM 작업에서 PII 마스킹은 프롬프트가 내 시스템을 떠나기 전에 이를 제거합니다.

[배치 API(Batch API)](https://broadrouter.com/ko/glossary/batch-api/)

배치 API는 많은 요청을 보통 파일 형태로 한 번에 받아, 즉시가 아니라 정해진 시간 창 안에 처리한 뒤 결과를 함께 돌려주는 비동기 LLM 엔드포인트입니다. OpenAI와 Anthropic 같은 제공업체는 배치 요청을 표준 API보다 할인된 가격으로 제공합니다.

[Temperature(온도)](https://broadrouter.com/ko/glossary/temperature/)

Temperature(온도)는 언어 모델 출력의 무작위성을 조절하는 샘플링 파라미터입니다. 모델은 토큰 점수를 확률로 바꾸기 전에 temperature로 나눕니다. 값이 낮으면 가장 가능성 높은 토큰이 압도적으로 선택되고, 값이 높으면 분포가 평평해져 가능성이 낮은 토큰도 더 자주 선택됩니다.

## 자주 묻는 질문

### 프롬프트 캐싱과 응답 캐싱은 무엇이 다른가요?

프롬프트 캐싱은 제공업체가 합니다. 반복되는 프롬프트 접두부가 더 낮은 캐시된 입력 단가로 과금되고, 모델은 여전히 새 답변을 씁니다. 응답 캐싱은 직접 합니다. 답변 전체를 저장해 두었다가 똑같은 요청에는 모델을 아예 호출하지 않고 돌려줍니다.

### temperature 0에서는 LLM 응답을 캐시해야 하나요?

요청에 부수 효과가 없고, 같은 요청을 보내는 모든 사람에게 같은 답을 줘도 괜찮다면 그렇습니다. 어차피 temperature 0이라도 서빙 엔진이 똑같은 출력을 보장하지는 않으므로, 캐시는 답변을 일관되게 만들어 주기도 합니다. temperature가 0보다 크거나 생략되었다면 캐싱하지 마세요.

### LLM 응답 캐싱으로 얼마나 아낄 수 있나요?

만료 기간 안에 정확히 반복되는 요청의 비율에 그 요청들의 비용을 곱한 만큼입니다. 그 비율은 자체 로그에서 반복되는 요청 해시를 세어 구하세요. 자유로운 대화에서는 0에 가깝고, 고정된 FAQ나 분류 입력에서는 높을 수 있습니다.

### 시맨틱 캐싱이 정확 일치 캐싱보다 나은가요?

비슷한 질문도 일치하므로 더 자주 적중하지만, 다른 질문에 대한 답을 돌려줄 수 있습니다. 임베딩 모델과 벡터 저장소도 필요합니다. 정확 일치 캐시로 시작하고, 잘못 적중해도 피해가 적은 곳에만 시맨틱 계층을 추가하세요.

### 스트리밍 응답도 캐시할 수 있나요?

여기의 간단한 래퍼로는 안 됩니다. 스트림 전체를 모으고, 정상적으로 끝났는지 확인하고, 저장한 뒤, 나중에 스트림으로 재생해야 합니다. 대부분의 팀은 분류, 추출, FAQ 답변처럼 스트리밍하지 않는 호출만 캐시합니다.

## 이어서 읽기

-   [캐시된 입력 토큰: 프롬프트 캐싱으로 LLM API 요금 줄이기](https://broadrouter.com/ko/blog/cached-input-tokens-explained/)
-   [접두부가 캐시되도록 프롬프트를 구성하는 방법](https://broadrouter.com/ko/blog/prompt-structure-for-caching/)
-   [LLM API 비용 통제: 예산, 키 한도, 무한 루프 방지](https://broadrouter.com/ko/blog/llm-api-spend-control/)
-   [프롬프트 토큰 줄이기: 시스템 프롬프트, 도구, 데이터 절감 실측](https://broadrouter.com/ko/blog/reduce-prompt-tokens/)
-   [LLM API 사용량 로깅: 사용자·기능별 비용 추적과 개인정보 마스킹](https://broadrouter.com/ko/blog/llm-api-usage-logging/)
-   [Batch API 없이 LLM 일괄 처리하기: 재개 가능한 실행기](https://broadrouter.com/ko/blog/llm-batch-processing-without-batch-api/)
-   [BroadNet의 GPU 하드웨어와 서빙 방식: BroadNet이 밝힌 내용](https://broadrouter.com/ko/blog/broadnet-gpu-fleet-and-serving/)
-   [문서 AI 워크플로에 사람의 검토 단계 넣기](https://broadrouter.com/ko/blog/document-review-queues/)
-   [가이드: BroadNet Inference에서 OpenAI Python SDK 사용하기](https://broadrouter.com/ko/guides/openai-python-sdk/)
-   [가이드: 추론 모델이 빈 답변을 반환하는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-cache-llm-responses-cut-cost&utm_content=page-cta) ·

**출처**

-   [BroadNet Inference API 레퍼런스: 추론은 max\_tokens에 포함, 추론과 캐시된 토큰의 usage 필드, 종량제 한도(2026-11-15 확인) (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-cache-llm-responses-cut-cost&utm_content=sources)
-   [BroadNet 추론 개인정보 처리 방침: 프롬프트, 메시지, 응답, 전사본 비보관, 콘텐츠 없는 트래픽·사용량 기록은 보관(2026-11-15 확인) (영어)](https://www.broadnet.ai/inference-privacy)
-   [GitHub의 GPTCache: 임베딩과 유사도 평가기를 쓰는 시맨틱 캐시, 거짓 양성과 거짓 음성, 임베딩 없는 키워드 일치 모드(2026-11-15 확인)](https://github.com/zilliztech/GPTCache)
-   [vLLM 문서, Reproducibility: "vLLM does not guarantee the reproducibility of the results by default"(번역: vLLM은 기본적으로 결과의 재현성을 보장하지 않음)(2026-11-15 확인)](https://docs.vllm.ai/en/latest/usage/reproducibility.html)
-   [Python 문서, json 모듈: json.dumps의 sort\_keys, separators, ensure\_ascii(2026-11-15 확인)](https://docs.python.org/3/library/json.html)
