エージェントが送る内容の大部分は、毎ターン同じです。プロンプトキャッシュを使うと、プロバイダーは繰り返される部分の再計算を省き、その分を安く課金できます。
しくみ
モデルはプロンプトを読むとき、トークンごとに内部状態を計算します。プロバイダーはこの状態を短時間保持できます。次のリクエストが同じトークンで始まっていれば、再計算せずに保存した状態を読み込みます。こうしたトークンがキャッシュ入力トークンです。
キャッシュはプロンプトの先頭から一致を見ます。OpenAI のガイドには、再利用には「requires the entire rendered prefix to match.」(訳:レンダリングされたプレフィックス全体の一致が必要)とあります。プロンプトの前のほうで 1 文字でも変わると、それ以降はすべて新しい入力になります。
細かい点はプロバイダーによって異なります。
- OpenAI は、対応モデルでキャッシュをデフォルトで有効にし、ヒットを usage ブロックで報告します。新しいモデルでは、プレフィックスの最小長を 1,024 トークンと記載しています。
- Anthropic は、ほとんどのモデルでキャッシュの読み取りを基本入力単価の 0.1 倍で課金し、キャッシュの書き込みには割増料金をかけ、エントリをデフォルトで 5 分間保持します。
Chat Completions 形式では、ヒットは usage.prompt_tokens_details.cached_tokens に表示されます。キャッシュ率は、この数値を prompt_tokens で割った値です。
なぜ重要か
長いプロンプトを繰り返し送る場合、請求額はキャッシュ率で決まります。毎ターン 200,000 トークンのリポジトリを送り直すエージェントは、プレフィックスが変わらない限り、最初の 1 回だけ通常の入力単価を払い、以降はキャッシュ単価になります。生成開始前の処理が減るため、長いプロンプトでは最初のトークンまでの時間も短くなることがあります。
キャッシュ率を上げるには、変わらない内容(システムプロンプト、ツール定義、ドキュメント)を先に置き、変わる内容を最後に置いてください。タイムスタンプやリクエスト ID はプロンプトの先頭に入れず、ツールの一覧は固定の順序にしてください。公開料金にキャッシュ入力の単価があるプロバイダーの割合と典型的な割引率は、LLM API 料金インデックスにあります。
BroadNet Inference の場合
BroadNet は、3 つのチャットモデルでキャッシュ入力の単価を公開しています(100 万トークンあたり)。
| モデル | 新しい入力 | キャッシュ入力 |
|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 |
| GLM 5.3 | $0.78 | $0.173 |
| Qwen3.8 27B | $0.175 | $0.0435 |
キャッシュされたトークンは自動的に安い単価で課金され、モデルが報告する場合は prompt_tokens_details.cached_tokens に表示されます。ストリームでは、ストリーミングのガイドにあるとおり stream_options で usage を要求してください。
定額プランにはトークンメーターがないため、キャッシュ率は請求額に影響しません。ヒット率を記録するコード付きの詳しい解説は、キャッシュ入力トークンの解説にあります。