BroadRouter

長時間動くエージェントのコンテキスト管理:100 万トークンを活かす

BroadNet Inference チーム · 約 6 分で読めます · 公開日 · 更新日

コンテキストは追記専用のログとして扱います。固定のシステムプロンプトとツール一覧を先頭に、増えるだけの履歴を後ろに置けば、毎ターンでキャッシュ済みのプレフィックスを再利用できます。DeepSeek V4.1 Flash の 1,048,576 トークンなら、圧縮はまれに大きく行い、まずツール出力を削り、残すべき事実は短いメモファイルに置きます。

午後いっぱい作業したコーディングエージェントには、大量の履歴がたまります。読んだファイル、実行したコマンド、テスト出力、計画、修正。毎ターン、そのすべてがモデルに送り直されます。この増え続けるコンテキストをどう管理するかで、3 つのことが同時に決まります。ターンごとのコスト、応答の速さ、そしてエージェントが自分のしていた作業を覚えているかどうかです。

100 万トークンのコンテキストはこのトレードオフを変えますが、なくしはしません。

100 万トークンのコンテキストは、長時間動くエージェントに何をもたらすのか?

BroadNet Inference では、DeepSeek V4.1 Flash と GLM 5.3 が 1 リクエストあたりプロンプトと回答を合わせて最大 1,048,576 トークンを受け付けます。Qwen3.8 27B は 262,144 トークンです。コンテキストが小さいと、エージェントは 1〜2 時間作業したところで要約しなければなりません。100 万トークンあれば、たいていはセッション全体の生の履歴を保持でき、非常に長い実行の終盤になってから圧縮すれば済みます。

これは本物の利点です。要約は情報を失い、要約のたびに、まさに重要だった細部を忘れる可能性があります。それでも、プロンプトが大きくなるにつれて 3 つのコストが増えます。

  • お金:トークン課金のキーでは、毎ターン、プロンプト全体を送り直すためです。
  • レイテンシ:サーバーは最初の出力トークンを返す前に、すべての入力トークンを処理しなければなりません。
  • 注意力。 入力が長くなると品質が落ちることがあり、これはコンテキストの劣化(context rot)と呼ばれます。論文 “Lost in the Middle” は、モデルが長い入力の中ほどにある情報よりも、先頭と末尾にある情報をより確実に使う傾向を示しました。新しいモデルほど改善していますが、重要な事実を両端の近くに置く習慣は今でも役に立ちます。

ルール 1:なぜ履歴は追記専用にすべきなのか?

プロンプトキャッシュは、プロンプトの先頭から一致を調べます。今回のターンの最初の 300,000 トークンが前回のターンとまったく同じなら、その部分はキャッシュから処理できます。最初に変化したトークンで一致は終わります。モデルが報告する場合、BroadNet の API はこれを usage.prompt_tokens_details.cached_tokens で返し、キャッシュ入力を低い単価で課金します。DeepSeek V4.1 Flash では、新規入力の $0.175 に対し、キャッシュ入力は 100 万トークンあたり $0.0055 です。

そこで、すべてのリクエストを同じ順序で組み立て、追加は常に末尾にだけ行います。

[ system prompt ]        never changes during a session
[ tool definitions ]     fixed order, never changes
[ project notes ]        changes rarely, and only by appending
[ turn 1 ... turn N ]    grows at the end
[ new message ]

よくあるプレフィックス破壊の原因は、システムプロンプト内のタイムスタンプ、順序が安定しないツール定義、そして古いツール結果の再レンダリングです。エージェントの場合はもう 1 つ加わります。毎回いちばん古いターンを捨てる「スライディングウィンドウ」方式の削り方で、これをするとその後ろのすべてがずれます。どれも、キャッシュ済みのプロンプトをまったく新しいプロンプトに変えてしまいます。そのほかの原因はキャッシュ向けのプロンプト構成にまとめてあり、プレフィックスが本当にキャッシュされているかを確かめるテストもあります。長いセッションでは差が大きく、プロンプトの大半を新規入力ではなくキャッシュ入力にできます。詳しくはキャッシュ入力の課金の仕組みをご覧ください。

ルール 2:キャッシュ率はどう測るのか?

リクエストごとに記録します。OpenAI SDK なら、呼び出しのあとに 3 行書くだけです。

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

resp = client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=history, max_tokens=8000)
u = resp.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"turn prompt={u.prompt_tokens:,} cached={cached:,} ({cached / max(1, u.prompt_tokens):.0%})")

健全な追記型エージェントでは、2 ターン目以降のすべてのターンでキャッシュの割合が高くなります。急にゼロ近くまで落ちたら、プロンプトの前のほうで何かが変わったということです。それを見つけて固定してください。プロンプトキャッシュ計算ツールを使うと、キャッシュ率をセッションあたりの金額に換算できます。

ルール 3:コンテキストが増えたら、まず何を削るべきか?

コンテキストを本当に縮める必要があるとき、何を捨てるかが重要です。ほとんどのエージェントの記録では、大部分をツール出力が占めています。4,000 行のテストログ、関数を 1 つ探すために読んだファイル全体、ディレクトリ一覧などです。価値のある部分は小さく、計画、判断とその理由、修正済みのエラーです。

削る順番(先に削るものから):

  1. 古くなったツール出力。 古いツール結果の本文を 1 行の要約に置き換えます。例:「pytest を実行:test_api.py で 3 件失敗(ターン 14 で修正済み)」。
  2. 置き換えられたファイル内容。 エージェントが api.py を読み、編集し、もう一度読んだのなら、最初に読んだ内容は無駄な重荷です。
  3. 何にもつながらなかった探索。 変更につながらなかった検索や読み込みです。
  4. 推論と計画。 これは最後まで残します。コードがなぜ今の形になっているかを説明するものだからです。

ツール出力を生成した時点で切り詰めるのはさらに効果的です。ツール結果ごとに上限を設け(たとえばログの最後の 200 行と総行数)、必要ならエージェントに追加で取りに行かせます。こうすれば、履歴を追記専用のまま小さく保てます。

ルール 4:エージェントはいつ履歴を圧縮すべきか?

圧縮(古い履歴を短いブロックに要約すること)は重い道具です。プレフィックスを書き換えるため、圧縮直後のターンでは、システムプロンプトより後ろのすべてに新規入力の料金がかかります。数ターンごとに少しずつ圧縮すると、その料金を何度も払うことになります。

より良いやり方:

  • しきい値を高めに設定する。 100 万トークンのコンテキストなら、たとえば 60〜70% まで埋まった時点で圧縮すれば、要約のターンと、その後の長い新しい作業のための余裕が残ります。
  • 直近の部分はそのまま残す。 古い部分だけを要約し、最後のひとまとまりのターンは手を加えずに残します。opencode の圧縮に関するドキュメントもこの方法を説明しています。会話を要約し、直近の部分(既定で約 15,000 トークン)を残します。
  • プロンプト全体を使って要約する。 会話全体を要約リクエストに送れば、前のターンのキャッシュを再利用できます。
  • 一度圧縮したら、また追記に戻る。 圧縮後は新しいプレフィックスが安定し、そこからキャッシュが再び効き始めます。

ルール 5:メモファイルには何を書くべきか?

何度圧縮しても残らなければならない事実があります。目標、制約、下した判断、プロジェクトをビルドしテストするコマンドです。これらを短いメモファイル(NOTES.md やタスクファイル)にまとめ、エージェントが追記し、読み返すようにします。メモファイルはプロンプトの先頭近くに置かれ、めったに変わらず、実行が再起動したときに新しいセッションが最初に読むものになります。

これはもっとも安上がりな記憶でもあります。数千トークンで、要約のたびに同じ事実を再発見する手間をエージェントから省けます。

推論トークンは予算にどう影響するのか?

DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は回答の前に推論し、その推論は max_tokens に含まれます。長いセッションでもそれは変わりませんが、プロンプトが大きいと「余裕を確保するため」に max_tokens を下げたくなります。やめてください。出力予算が厳しすぎると回答が空になり、エージェントはそれをリトライします。詳しくは回答が空になる理由をご覧ください。

また、コンテキストはプロンプトと回答を合わせて数えることも忘れないでください。プロンプトが 1,048,576 トークン近くになると、回答する余地が残りません。その前に圧縮してください。コンテキストウィンドウ計算ツールで、特定のプロンプトがどれだけ余地を残すかを確認できます。

定額プランでも、これは重要なのか?

BroadNet のプランのセッションでは、DeepSeek V4.1 Flash にトークンの計量がありません。プロンプトがどれだけ長くても、Full Moon のセッションは月 $60 です。キャッシュの金銭的な理由はなくなりますが、残りの 2 つは残ります。多くのサービング基盤では、キャッシュ済みのプレフィックスのほうが一般に速く処理されますし、うまく管理されたコンテキストはより良い回答を生みます。習慣は同じで、理由が変わるだけです。詳しくはプランのセッションの仕組みをご覧ください。

コンテキスト管理チェックリスト

  • システムプロンプトとツール一覧はセッション全体で固定する。
  • 履歴は追記のみ。古いターンを整形し直さない。
  • リクエストごとにキャッシュ率を記録する。
  • ツール出力は生成時に上限を設け、古くなった出力は後で要約に置き換える。
  • 圧縮は高いしきい値で行い、直近の部分はそのまま残す。
  • 目標、制約、判断を書いたメモファイルを用意する。
  • 出力予算は推論が収まる大きさにする。

そもそも 100 万トークンのコンテキストをいつ使う価値があるかは、100 万トークン・コンテキストウィンドウ ガイドをご覧ください。進捗のないまま膨らみ続けるセッションを止める方法は、エージェントループのコスト管理をご覧ください。

よくある質問

モデルに 100 万トークンのコンテキストがあるのに、なぜ管理が必要なのですか?

プロンプトが長くなると、コスト、レイテンシ、精度がすべて変わるからです。長いプロンプトは処理に時間がかかり、トークン課金のキーではターンごとの費用も上がります。また研究によると、モデルは長い入力の中ほどにある情報をあまり確実には使えません。

エージェントがキャッシュに当たっているかはどう確認しますか?

モデルが報告する場合、usage ブロックに prompt_tokens_details.cached_tokens が含まれます。リクエストごとにこれを prompt_tokens で割り、その比率を記録してください。

定額プランでもコンテキストの圧縮は必要ですか?

請求額の面では不要です。プランのセッションにはトークンの計量がないからです。ただし、非常に長いセッションでは速度と回答の質に影響します。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く