BroadRouter
始める

エージェントのトークン予算:エージェントループのトークンはどこに消えるか

BroadNet Inference チーム · 約 5 分で読めます · 公開日

エージェントループは毎回、全コンテキストを再送します:システムプロンプト、ツール定義、会話履歴、ファイル内容、ツール出力と新しいステップです。入力は出力の何倍にもなりがちです。呼び出しごとに prompt_tokens、cached_tokens、completion_tokens を記録し、最大の繰り返し部分を特定して、ツールを減らし、出力を制限し、長いセッションは作り直します。

チャットのコストは、入力した内容とモデルが書いた内容の分です。エージェントははるかに高くつきます。モデルを何十回も呼び出し、そのたびにほぼすべてを再送するからです。このコストを下げたい、あるいは単にコンテキストウィンドウの上限にぶつかるのをやめたいなら、各リクエストのどの部分が大きいのかを知る必要があります。この記事では、エージェントループを 5 つの内訳に分け、API 自身の usage データで各部分を測る方法を示し、最初に削るべきものを挙げます。

エージェントはなぜすべてを再送するのですか?

Chat Completions API はステートレスです。モデルは呼び出しの間に何も覚えていないので、エージェントは毎ステップ全コンテキストを送ります。1 回の呼び出しが 30,000 トークンを運ぶ 40 ステップのタスクでは、出力はせいぜい 40,000 トークンなのに、入力は 120 万トークンを読み込みます。この 30 対 1 の比率こそ、入力トークンとそのキャッシュ価格がエージェントの請求を支配する理由です。

トークンはどこに消えるのですか?

内訳 中身 毎回繰り返される? よくある原因
システムプロンプト エージェントへの指示、ルールファイル、プロジェクトのメモ はい 長いルールファイル
ツールスキーマ 各ツールの名前、説明、JSON Schema はい 組み込みツールと、すべての MCP サーバー
履歴 それまでのメッセージ、ツール呼び出しと結果 はい、しかも増える 長いセッション
ファイルの読み込みとツール出力 ファイルの内容、テストログ、検索結果 はい、外されるまで ファイル全体の読み込み、出力の多いコマンド
出力 表示される回答、ツール呼び出し、推論 いいえ 推論の強さ、ファイル全体の書き直し

最初の 2 つは固定のオーバーヘッドです。Cursor は 2026 年 9 月に、システムプロンプトとツール定義が “had become one of the largest sources of spend that we fully control”(訳:自社で完全に制御できる最大級の支出源の 1 つになっていた)と書き、ファイルの読み込みを “another large source of token spend”(訳:もう 1 つの大きなトークン支出源)と呼びました。システムプロンプトの約 3 分の 2 の削減や、会話の 20% 未満でしか使われないツールを必要なときだけ読み込むといった変更で、ユーザーのトークンコストは 7% 下がりました。GitHub の VS Code チームも Copilot について同じ 2 つのコストを挙げています。繰り返されるプロンプトのプレフィックスと、ツール定義のオーバーヘッドです。

どうやって測りますか?

トレーシング製品は不要です。各レスポンスの usage ブロックで十分です。

  1. usage を有効にする。 ストリーミングでは stream_options: {"include_usage": true} を加えます。usage は最後のチャンクで届きます。ストリーミングをご覧ください。
  2. 呼び出しごとに記録する: ステップ番号、prompt_tokens、prompt_tokens_details.cached_tokens、completion_tokens、そして報告される場合は completion_tokens_details.reasoning_tokens。
  3. 固定のオーバーヘッドを一度測る。 システムプロンプトとツール、それに「hi」という単語だけのリクエストを 1 回送ります。その prompt_tokens が下限です。
  4. ツール出力を測る。 各ツールの結果を追加する前に、文字数を数えます。4 で割ればおおよその英語のトークン数になります。使っているモデルのトークナイザーでの正確な値は、サンプルを無料のトークンカウンターに貼り付けて確認してください。
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)

prompt_tokens をステップごとにグラフにします。一定の傾きは履歴が増えていることを示します。急なジャンプは大きなファイルやログがコンテキストに入ったことを示します。下限が高いのはツールが多すぎるということです。

Aider では、/tokens で現在のコンテキストの中身を確認でき、/drop でファイルを外せます。

最初に何を削るべきですか?

やりやすさではなく、サイズ × 繰り返し回数の順に並べます。

  1. 使わないツール。 すべてのツールスキーマが毎回の呼び出しに乗ります。OpenAI のガイドは、関数定義は “are billed as input tokens”(訳:入力トークンとして課金される)とし、目安として、ターンの開始時の関数は 20 個未満を推奨しています。そのタスクで使わない MCP サーバーは無効にしてください。opencode のドキュメントも、MCP のツールはモデルのコンテキストを消費するとはっきり書いています。
  2. ツール出力。 コマンドの出力を制限します(テストログは 20,000 行ではなく最後の 200 行)。検索結果はパスと行番号で返し、必要な部分だけを読みます。
  3. ファイルの読み込み。 ファイルではなく関数を読みます。Aider のリポジトリマップは、ファイル全体の代わりにデフォルト 1k トークンの予算(--map-tokens)を使います。
  4. 履歴。 変更ごとに新しいタスクを始めます。セッションを続ける必要があるときは、古いターンを短い要約に置き換えます。
  5. システムプロンプト。 モデルがもともと守っているルールは削除します。残りは固定しておきます。
  6. 出力。 ファイル全体ではなく diff を求めます。定型的なステップでは reasoning_effort を low にします。推論トークンは出力として課金されます。

プレフィックスを固定するのはなぜですか?

プロバイダーは繰り返されるプレフィックスをキャッシュし、安い料金で課金します。BroadNet Inference では、DeepSeek V4.1 Flash のキャッシュ入力は 100 万トークンあたり $0.0055、新規入力は $0.175 です。GLM 5.3 は $0.173 対 $0.78 です。システムプロンプト内のタイムスタンプや、呼び出しのたびに順番が変わるツール一覧は、その箇所以降のキャッシュを壊します。固定部分を決まった順番で先頭に、変わる部分を最後に置いてください。詳しくはキャッシュ入力トークンの解説を、あるヒット率でどれだけ節約できるかはプロンプトキャッシュ計算ツールをご覧ください。

キャッシュで下がるのはプレフィックスの価格であって、サイズではありません。キャッシュされたトークンもコンテキストウィンドウを埋め、処理にも時間がかかります。

エージェントの予算の試算例は?

上の 40 ステップのタスクで、入力の 80% がキャッシュされる場合を考えます。

部分 トークン 課金
新規入力 240,000 入力価格
キャッシュ入力 960,000 キャッシュ入力価格
出力(推論を含む) 40,000 出力価格

各呼び出しから使わないツールスキーマを 5,000 トークン削ると、このタスクの入力から 200,000 トークン、全体の約 6 分の 1 が消え、エージェントの挙動は何も変わりません。モデル選び、キャッシュ、定額プランなど、削る以外のコスト削減策はコーディングエージェントの LLM コストを削減する 10 の方法をご覧ください。マルチエージェント構成では、エージェントの数を掛けてください。マルチエージェント構成のコストをご覧ください。自分のループをステップごとにモデル化するには、エージェント実行コスト見積もりツールをお使いください。

BroadNet Inference の位置づけ

BroadNet Inference は usage ブロックでプロンプトトークンと完了トークンを返し、モデルが報告する場合はキャッシュトークンと推論トークンも返すので、上の測定方法はそのまま使えます。DeepSeek V4.1 Flash のキャッシュ入力価格が安いため、プレフィックスを固定すればそのぶん報われます。削る手間をかける価値がないなら、無制限プランで DeepSeek V4.1 Flash のトークンのメーターをなくせます。1 セッション月 $60 です。コンテキストウィンドウの制限は変わらず、コンテキストが軽いほうが速く動くことも変わりません。プランは inference.broadnet.ai/plans にあります。

よくある質問

コーディングエージェントが入力トークンを大量に使うのはなぜですか?

API がステートレスだからです。呼び出しのたびに、システムプロンプト、すべてのツール定義、それまでの会話、コンテキストに残っているすべてのファイルの内容を再送します。セッションが長くなれば、それがステップ数の分だけ掛け算になります。

エージェントの各ステップが何トークン使っているかを確認するには?

各レスポンスの usage ブロックを読みます。ストリーミングでは、stream_options の include_usage を true にして、最後のチャンクを読みます。ステップ番号と一緒に prompt_tokens、prompt_tokens_details.cached_tokens、completion_tokens を記録してください。

ツール定義は入力トークンに数えられますか?

はい。ツール一覧はプロンプトの一部で、毎回の呼び出しで送られます。MCP サーバーは自分のツールをこの一覧に追加します。opencode のドキュメントが必要なサーバーだけを追加するよう勧めているのはこのためです。

プロンプトキャッシュで問題は解決しますか?

下がるのは繰り返されるプレフィックスの価格であって、サイズではありません。キャッシュ入力もコンテキストウィンドウを埋めます。BroadNet では、DeepSeek V4.1 Flash のキャッシュ入力は 100 万トークンあたり $0.0055、新規入力は $0.175 です。

推論トークンも予算に含まれますか?

はい、出力側に含まれます。推論モデルは思考を max_tokens に数え、従量課金では出力として課金します。定型的なステップでは reasoning_effort を low にしてください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く