BroadRouter
始める

キャッシュ入力トークンとは:LLM API の請求額を下げる方法

BroadNet Inference チーム · 約 5 分で読めます · 公開日 · 更新日

キャッシュ入力トークンとは、プロバイダーが処理済みで再利用できるプロンプトのトークンで、低い単価で課金されます。BroadNet Inference の DeepSeek V4.1 Flash では、100 万トークンあたり新規入力 $0.175 に対し、キャッシュ入力は $0.0055 です。割引を受けるには、プロンプトの固定部分を先頭に置き、呼び出し間で同一に保ちます。

エージェントが LLM に送る内容の大半は、毎ターン同じです。システムプロンプト、ツール定義、作業中のファイル、そしてそれまでの会話です。新しいのは最後のメッセージだけです。プロンプトキャッシュとは、この繰り返し部分をプロバイダーが満額で課金しない仕組みです。

キャッシュ入力トークンとは?

すべてのリクエストは入力トークンと出力トークンでできています。モデルは回答する前に、プロンプト全体を処理します。以前のリクエストがまったく同じトークンで始まっていれば、推論基盤はその処理をやり直さずに再利用できます。再利用された部分はキャッシュ入力トークンとして報告され、低い単価で課金されます。

この仕組みから、2 つのことが言えます。

  • **キャッシュされるのはプレフィックスだけです。**照合は最初のトークンから順に進み、最初の違いで止まります。
  • **回答は決してキャッシュされません。**モデルは新しい出力を生成し、それは出力の満額で課金されます。

BroadNet Inference のキャッシュトークンはいくらか?

公開されている料金ファイルより、100 万トークンあたりの料金です。

モデル 新規入力 キャッシュ入力 出力
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
GLM 5.3 $0.78 $0.173 $3.46
Qwen3.8 27B $0.175 $0.0435 $2.17

DeepSeek V4.1 Flash では差が大きく、キャッシュトークンの 100 万あたり $0.0055 と、新規トークンの 100 万あたり $0.175 を比べてみてください。毎ターン 200,000 トークンのリポジトリを送り直すエージェントでは、キャッシュ率が請求額の大部分を左右します。

キャッシュでどれだけ節約できるか?計算例

あるコーディングエージェントが、1 営業日に 200,000 トークンのプロンプトを 100 回送るとします。1 日あたり 2,000 万入力トークンです。

キャッシュ率 新規入力トークン キャッシュ入力トークン
0% 20M(100 万あたり $0.175) 0
50% 10M(100 万あたり $0.175) 10M(100 万あたり $0.0055)
90% 2M(100 万あたり $0.175) 18M(100 万あたり $0.0055)

1 日の入力料金の式は new tokens (M) × input price + cached tokens (M) × cached price です。キャッシュ率 90% では、入力 20M トークンのうち 18M が通常の入力単価ではなくキャッシュ単価で課金されます。そのため、2 つの単価の差が大きいほど、入力部分の請求額を多く節約できます。出力は変わりません。プロンプトキャッシュ計算ツールで自分の数字を試してみてください。

API レスポンスでキャッシュトークンを確認するには?

BroadNet の API リファレンスによると、モデルが報告する場合、usage オブジェクトに prompt_tokens_details.cached_tokens が含まれます。これはキャッシュから読まれ、キャッシュ単価で課金されたプロンプトトークンの数です。ストリーミングでは、最後のチャンクで usage を要求します。

from openai import OpenAI
import os

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
    {"role": "system", "content": "You are a code reviewer."},  # stable prefix: keep it identical
    {"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=messages,
    stream=True,
    stream_options={"include_usage": True},
)
for chunk in stream:
    if chunk.usage:
        u = chunk.usage
        cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
        print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")

この率をリクエストごとに 1 日記録してください。実際に払っている額がわかり、プロンプトキャッシュ計算ツールに入れるべき数字もわかります。ストリーミングでの usage についてはストリーミングガイドで詳しく説明しています。

OpenAI、Anthropic、DeepSeek のプロンプトキャッシュはどう違うか?

キャッシュは標準化されていません。2026 年 11 月 14 日に取得した時点で、公式ドキュメントには次のように書かれていました。

OpenAI Anthropic DeepSeek(直接 API)
有効化 対応モデルではデフォルトで有効 cache_control フィールドでオプトイン(自動またはブロック単位) 全ユーザーでデフォルトで有効
最小プロンプト長 GPT-5.6 以降は 1,024 トークン モデルにより 512〜4,096 トークン 最小値の記載なし
キャッシュの保持期間 GPT-5.6 以降はデフォルト 30 分。12 時間のオプションあり デフォルト 5 分、1 時間は追加料金 ベストエフォート。使われなければ消去、“a few hours to a few days”(訳:数時間から数日)
書き込み GPT-5.6 以降は入力の 1.25×(30 分)または 2.5×(12 時間) 5 分は入力の 1.25×、1 時間は 2× 書き込み料金の記載なし
読み込み GPT-5.6 以降は入力の 0.1×(GPT-6.1 Sol と Terra は 0.05×) ほとんどのモデルで入力の 0.1×、一部はさらに低い 別建ての「キャッシュヒット」料金
usage のフィールド token details 内の cached_tokens cache_read_input_tokens prompt_cache_hit_tokens

出典:OpenAI プロンプトキャッシュガイド、Anthropic プロンプトキャッシュのドキュメント、DeepSeek コンテキストキャッシュのドキュメント。書き込みに追加料金がかかる場合、書き込んだのに一度も読まれないキャッシュは、キャッシュなしより高くつきます。キャッシュが得になるのは、実際に繰り返すプロンプトだけです。モデルごとの定価を比べるには LLM API 料金表を参照してください。

キャッシュ率を下げる原因は?

キャッシュは完全一致のプレフィックスで照合するため、プロンプトの前のほうで何かが変わると、それ以降はすべて新規入力になります。よくある原因は次のとおりです。

  • システムプロンプトの先頭付近にあるタイムスタンプ、リクエスト ID、ユーザー名
  • 呼び出しごとにキーの順番が変わるツール定義や JSON のシリアライズ(トークンが変わります)
  • 履歴に追記するのではなく、書き換えたり要約したりするエージェント
  • 長い中断。その間にキャッシュが期限切れになります

対策は、層の順番(システムプロンプト、ツール、ドキュメント、履歴、新しいメッセージ)を固定し、各層を呼び出し間でバイト単位まで同一に保つことです。プレフィックスがキャッシュされるプロンプトの組み立て方では、このレイアウトをコードで説明し、プレフィックスが再利用されていることを確かめるテストも紹介しています。

キャッシュが重要でなくなるのはいつか?

定額プランでは、請求額はトークンにまったく依存しません。Full Moon はセッションあたり月 $60 で、DeepSeek V4.1 Flash を無制限に使えます。エージェントがすでに損益分岐点を超えているなら、キャッシュ率はもはやコストの問題ではありません。それでも長いプロンプトでは上記の習慣が速度の面で役立つので、どちらにしても続ける価値があります。

長いコンテキストでキャッシュがより重要になる理由は?

DeepSeek V4.1 Flash と GLM 5.3 は、1 リクエストで最大 1,048,576 トークンを受け付けます。トークン課金のキーで非常に長いプロンプトを現実的な料金にしているのがキャッシュです。コンテキストウィンドウの大きな繰り返し部分がキャッシュ単価で課金されるからです。100 万トークンのコンテキストウィンドウが役立つときを参照してください。

BroadNet Inference が向いているケース

BroadNet は、キャッシュ単価があるチャットモデルごとにその料金を公開し、モデルが報告する場合は usage にキャッシュトークン数を返すので、契約前に自分のキャッシュ率を計測できます。キャッシュの保持期間や最小プロンプト長は公開されていないので、自分のトラフィックで計測してください。エージェントが一日中動くなら、定額プランでこの問題自体がなくなります。

よくある質問

プロンプトキャッシュは自分で有効にする必要がありますか?

プロバイダーによります。OpenAI と DeepSeek は自動でキャッシュし、Anthropic は cache_control フィールドが必要です。BroadNet Inference では usage ブロックを確認してください。モデルがキャッシュトークンを報告する場合は prompt_tokens_details.cached_tokens に表示され、キャッシュ入力の単価で課金されます。

プロンプトキャッシュが効いているか確認するには?

毎回のリクエストで usage を取得し、cached_tokens を prompt_tokens で割ります。長い同じプロンプトの 2 回目の呼び出しでも率がゼロに近いなら、プロンプトの前のほうで何かが呼び出しごとに変わっています。

キャッシュ率が低いのはなぜですか?

たいていは、プロンプトの前のほうにある何かが毎回変わっているためです。タイムスタンプ、リクエスト ID、順番が入れ替わったツール一覧などです。変わる内容は末尾に移してください。

プロンプトキャッシュとレスポンスキャッシュの違いは何ですか?

プロンプトキャッシュは、繰り返されるプロンプトのプレフィックスに対するプロバイダーの処理を再利用するもので、モデルは毎回新しく回答を書きます。レスポンスキャッシュは自分で作る仕組みで、回答をまるごと保存し、同じ質問にはモデルを呼ばずにそれを返します。

キャッシュトークンは無料ですか?

いいえ。ゼロではなく、低い単価で課金されます。DeepSeek V4.1 Flash では、キャッシュ入力は 100 万トークンあたり $0.0055 で、出力は全額課金されます。

無制限プランでもキャッシュは重要ですか?

プランのセッションにはトークンメーターがないので、請求額には影響しません。ただし多くの推論基盤では、長いプロンプトの最初のトークンまでの時間を短くする効果があるので、同じ習慣は役に立ちます。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く