---
title: "LLM エージェントのコンテキスト管理：100 万トークン窓の使い方 | BroadRouter"
description: "100 万トークンのコンテキストで、長時間のエージェントを正確かつ低コストに保つ方法。追記型の履歴、キャッシュしやすいプロンプト、圧縮のタイミング、何から削るかを解説します。"
url: https://broadrouter.com/ja/blog/long-running-agent-context-management/
lang: ja
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。[英語の原文を読む](https://broadrouter.com/blog/long-running-agent-context-management/)（2026-11-16 更新）。

# 長時間動くエージェントのコンテキスト管理：100 万トークンを活かす

BroadNet Inference チーム · 約 6 分で読めます · 公開日 2026-11-14 · 更新日 2026-11-16

コンテキストは追記専用のログとして扱います。固定のシステムプロンプトとツール一覧を先頭に、増えるだけの履歴を後ろに置けば、毎ターンでキャッシュ済みのプレフィックスを再利用できます。DeepSeek V4.1 Flash の 1,048,576 トークンなら、圧縮はまれに大きく行い、まずツール出力を削り、残すべき事実は短いメモファイルに置きます。

## 要点

-   大きなコンテキストはコンテキストの問題を先送りするだけで、なくしはしません。上限に近づいたときの対処を計画しておきます。
-   追記専用の履歴ならプロンプトのプレフィックスが安定し、キャッシュ入力が安いまま保たれます。
-   過去の履歴を書き換えるたびに、その位置から先のキャッシュが無効になります。
-   推論や判断の記録より先に、かさばるツール出力（ログ、ファイルの中身）を削ります。
-   圧縮はまれに大きく行い、長く残すべき事実は短いメモファイルにまとめます。

**このページの内容**

1.  100 万トークンのコンテキストは、長時間動くエージェントに何をもたらすのか？
2.  ルール 1：なぜ履歴は追記専用にすべきなのか？
3.  ルール 2：キャッシュ率はどう測るのか？
4.  ルール 3：コンテキストが増えたら、まず何を削るべきか？
5.  ルール 4：エージェントはいつ履歴を圧縮すべきか？
6.  ルール 5：メモファイルには何を書くべきか？
7.  推論トークンは予算にどう影響するのか？
8.  定額プランでも、これは重要なのか？
9.  コンテキスト管理チェックリスト

午後いっぱい作業したコーディングエージェントには、大量の履歴がたまります。読んだファイル、実行したコマンド、テスト出力、計画、修正。毎ターン、そのすべてがモデルに送り直されます。この増え続けるコンテキストをどう管理するかで、3 つのことが同時に決まります。ターンごとのコスト、応答の速さ、そしてエージェントが自分のしていた作業を覚えているかどうかです。

100 万トークンのコンテキストはこのトレードオフを変えますが、なくしはしません。

## 100 万トークンのコンテキストは、長時間動くエージェントに何をもたらすのか？

BroadNet Inference では、[DeepSeek V4.1 Flash](https://broadrouter.com/ja/models/deepseek-v4.1-flash/) と [GLM 5.3](https://broadrouter.com/ja/models/glm-5.3/) が 1 リクエストあたりプロンプトと回答を合わせて最大 1,048,576 トークンを受け付けます。[Qwen3.8 27B](https://broadrouter.com/ja/models/qwen3.8-27b/) は 262,144 トークンです。コンテキストが小さいと、エージェントは 1〜2 時間作業したところで要約しなければなりません。100 万トークンあれば、たいていはセッション全体の生の履歴を保持でき、非常に長い実行の終盤になってから圧縮すれば済みます。

これは本物の利点です。要約は情報を失い、要約のたびに、まさに重要だった細部を忘れる可能性があります。それでも、プロンプトが大きくなるにつれて 3 つのコストが増えます。

-   **お金**：トークン課金のキーでは、毎ターン、プロンプト全体を送り直すためです。
-   **レイテンシ**：サーバーは最初の出力トークンを返す前に、すべての入力トークンを処理しなければなりません。
-   **注意力。** 入力が長くなると品質が落ちることがあり、これは[コンテキストの劣化（context rot）](https://broadrouter.com/ja/glossary/context-rot/)と呼ばれます。論文 [“Lost in the Middle”](https://arxiv.org/abs/2307.03172) は、モデルが長い入力の中ほどにある情報よりも、先頭と末尾にある情報をより確実に使う傾向を示しました。新しいモデルほど改善していますが、重要な事実を両端の近くに置く習慣は今でも役に立ちます。

## ルール 1：なぜ履歴は追記専用にすべきなのか？

プロンプトキャッシュは、プロンプトの先頭から一致を調べます。今回のターンの最初の 300,000 トークンが前回のターンとまったく同じなら、その部分はキャッシュから処理できます。最初に変化したトークンで一致は終わります。モデルが報告する場合、BroadNet の API はこれを `usage.prompt_tokens_details.cached_tokens` で返し、キャッシュ入力を低い単価で課金します。DeepSeek V4.1 Flash では、新規入力の $0.175 に対し、キャッシュ入力は 100 万トークンあたり $0.0055 です。

そこで、すべてのリクエストを同じ順序で組み立て、追加は常に末尾にだけ行います。

```text
[ system prompt ]        never changes during a session
[ tool definitions ]     fixed order, never changes
[ project notes ]        changes rarely, and only by appending
[ turn 1 ... turn N ]    grows at the end
[ new message ]
```

よくあるプレフィックス破壊の原因は、システムプロンプト内のタイムスタンプ、順序が安定しないツール定義、そして古いツール結果の再レンダリングです。エージェントの場合はもう 1 つ加わります。毎回いちばん古いターンを捨てる「スライディングウィンドウ」方式の削り方で、これをするとその後ろのすべてがずれます。どれも、キャッシュ済みのプロンプトをまったく新しいプロンプトに変えてしまいます。そのほかの原因は[キャッシュ向けのプロンプト構成](https://broadrouter.com/ja/blog/prompt-structure-for-caching/)にまとめてあり、プレフィックスが本当にキャッシュされているかを確かめるテストもあります。長いセッションでは差が大きく、プロンプトの大半を新規入力ではなくキャッシュ入力にできます。詳しくは[キャッシュ入力の課金の仕組み](https://broadrouter.com/ja/blog/cached-input-tokens-explained/)をご覧ください。

## ルール 2：キャッシュ率はどう測るのか？

リクエストごとに記録します。OpenAI SDK なら、呼び出しのあとに 3 行書くだけです。

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

resp = client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=history, max_tokens=8000)
u = resp.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"turn prompt={u.prompt_tokens:,} cached={cached:,} ({cached / max(1, u.prompt_tokens):.0%})")
```

健全な追記型エージェントでは、2 ターン目以降のすべてのターンでキャッシュの割合が高くなります。急にゼロ近くまで落ちたら、プロンプトの前のほうで何かが変わったということです。それを見つけて固定してください。[プロンプトキャッシュ計算ツール](https://broadrouter.com/tools/prompt-caching-calculator/)を使うと、キャッシュ率をセッションあたりの金額に換算できます。

## ルール 3：コンテキストが増えたら、まず何を削るべきか？

コンテキストを本当に縮める必要があるとき、何を捨てるかが重要です。ほとんどのエージェントの記録では、大部分をツール出力が占めています。4,000 行のテストログ、関数を 1 つ探すために読んだファイル全体、ディレクトリ一覧などです。価値のある部分は小さく、計画、判断とその理由、修正済みのエラーです。

削る順番（先に削るものから）：

1.  **古くなったツール出力。** 古いツール結果の本文を 1 行の要約に置き換えます。例：「pytest を実行：test\_api.py で 3 件失敗（ターン 14 で修正済み）」。
2.  **置き換えられたファイル内容。** エージェントが `api.py` を読み、編集し、もう一度読んだのなら、最初に読んだ内容は無駄な重荷です。
3.  **何にもつながらなかった探索。** 変更につながらなかった検索や読み込みです。
4.  **推論と計画。** これは最後まで残します。コードがなぜ今の形になっているかを説明するものだからです。

ツール出力を生成した時点で切り詰めるのはさらに効果的です。ツール結果ごとに上限を設け（たとえばログの最後の 200 行と総行数）、必要ならエージェントに追加で取りに行かせます。こうすれば、履歴を追記専用のまま小さく保てます。

## ルール 4：エージェントはいつ履歴を圧縮すべきか？

圧縮（古い履歴を短いブロックに要約すること）は重い道具です。プレフィックスを書き換えるため、圧縮直後のターンでは、システムプロンプトより後ろのすべてに新規入力の料金がかかります。数ターンごとに少しずつ圧縮すると、その料金を何度も払うことになります。

より良いやり方：

-   **しきい値を高めに設定する。** 100 万トークンのコンテキストなら、たとえば 60〜70% まで埋まった時点で圧縮すれば、要約のターンと、その後の長い新しい作業のための余裕が残ります。
-   **直近の部分はそのまま残す。** 古い部分だけを要約し、最後のひとまとまりのターンは手を加えずに残します。opencode の[圧縮に関するドキュメント](https://opencode.ai/docs/compaction/)もこの方法を説明しています。会話を要約し、直近の部分（既定で約 15,000 トークン）を残します。
-   **プロンプト全体を使って要約する。** 会話全体を要約リクエストに送れば、前のターンのキャッシュを再利用できます。
-   **一度圧縮したら、また追記に戻る。** 圧縮後は新しいプレフィックスが安定し、そこからキャッシュが再び効き始めます。

## ルール 5：メモファイルには何を書くべきか？

何度圧縮しても残らなければならない事実があります。目標、制約、下した判断、プロジェクトをビルドしテストするコマンドです。これらを短いメモファイル（`NOTES.md` やタスクファイル）にまとめ、エージェントが追記し、読み返すようにします。メモファイルはプロンプトの先頭近くに置かれ、めったに変わらず、実行が再起動したときに新しいセッションが最初に読むものになります。

これはもっとも安上がりな記憶でもあります。数千トークンで、要約のたびに同じ事実を再発見する手間をエージェントから省けます。

## 推論トークンは予算にどう影響するのか？

DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は回答の前に推論し、その推論は `max_tokens` に含まれます。長いセッションでもそれは変わりませんが、プロンプトが大きいと「余裕を確保するため」に `max_tokens` を下げたくなります。やめてください。出力予算が厳しすぎると回答が空になり、エージェントはそれをリトライします。詳しくは[回答が空になる理由](https://broadrouter.com/ja/guides/reasoning-tokens-empty-response/)をご覧ください。

また、コンテキストはプロンプトと回答を合わせて数えることも忘れないでください。プロンプトが 1,048,576 トークン近くになると、回答する余地が残りません。その前に圧縮してください。[コンテキストウィンドウ計算ツール](https://broadrouter.com/tools/context-window-calculator/)で、特定のプロンプトがどれだけ余地を残すかを確認できます。

## 定額プランでも、これは重要なのか？

BroadNet のプランのセッションでは、DeepSeek V4.1 Flash にトークンの計量がありません。プロンプトがどれだけ長くても、Full Moon のセッションは月 $60 です。キャッシュの金銭的な理由はなくなりますが、残りの 2 つは残ります。多くのサービング基盤では、キャッシュ済みのプレフィックスのほうが一般に速く処理されますし、うまく管理されたコンテキストはより良い回答を生みます。習慣は同じで、理由が変わるだけです。詳しくは[プランのセッションの仕組み](https://broadrouter.com/ja/guides/unlimited-llm-api-sessions/)をご覧ください。

## コンテキスト管理チェックリスト

-   システムプロンプトとツール一覧はセッション全体で固定する。
-   履歴は追記のみ。古いターンを整形し直さない。
-   リクエストごとにキャッシュ率を記録する。
-   ツール出力は生成時に上限を設け、古くなった出力は後で要約に置き換える。
-   圧縮は高いしきい値で行い、直近の部分はそのまま残す。
-   目標、制約、判断を書いたメモファイルを用意する。
-   出力予算は推論が収まる大きさにする。

そもそも 100 万トークンのコンテキストをいつ使う価値があるかは、[100 万トークン・コンテキストウィンドウ ガイド](https://broadrouter.com/ja/blog/million-token-context-window-guide/)をご覧ください。進捗のないまま膨らみ続けるセッションを止める方法は、[エージェントループのコスト管理](https://broadrouter.com/ja/blog/cut-coding-agent-llm-costs/)をご覧ください。

関連する無料ツール（英語）

-   [Agent run cost estimator](https://broadrouter.com/tools/agent-run-cost-estimator/) Context growth per step, total tokens and cost of one agent run, with a DeepSeek session comparison.
-   [LLM batch job planner](https://broadrouter.com/tools/llm-batch-job-planner/) Run time, binding limit, cost per model and the flat sessions needed to finish a big job by a deadline.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [LLM rate limit and concurrency calculator](https://broadrouter.com/tools/llm-rate-limit-calculator/) Which limit binds first: RPM, TPM or concurrency, with Little's law.

[無料ツール（英語）](https://broadrouter.com/tools/)

## この記事の用語

[トークン（token）](https://broadrouter.com/ja/glossary/token/)

トークンとは、言語モデルが読み書きするテキストの単位です。モデルのトークナイザーが作る単語、単語の一部、句読点、バイト列のいずれかにあたります。LLM API は利用量をトークンで数え、上限を設け、通常はトークン単位で課金します。

[AI エージェント（AI agent）](https://broadrouter.com/ja/glossary/agent/)

AI エージェントとは、言語モデルが目標に向けて自分で手順を決めるシステムです。どのツールを呼ぶかを決め、結果を読み、最終回答を出すか上限に達するまで繰り返します。決まった箇所でモデルを呼ぶ固定のスクリプトは、ふつうワークフローと呼ばれます。

[キャッシュ入力トークン（cached input tokens）](https://broadrouter.com/ja/glossary/cached-input-tokens/)

キャッシュ入力トークンとは、LLM プロバイダーが直前に処理し、再計算せずにキャッシュから再利用できるプロンプトのトークンです。通常はシステムプロンプトやドキュメントなど繰り返し送るプレフィックスで、新しい入力トークンより安い単価で課金されます。

[コンテキストの劣化（context rot）](https://broadrouter.com/ja/glossary/context-rot/)

コンテキストの劣化（context rot）とは、入力が長くなるにつれて言語モデルの精度と信頼性が徐々に下がる現象です。タスクが同じで、入力がコンテキストウィンドウに十分収まっていても起こります。18 モデルを検証した Chroma の 2025 年の技術レポートで広まった用語です。

[Lost in the Middle（中間の情報の見落とし）](https://broadrouter.com/ja/glossary/lost-in-the-middle/)

Lost in the Middle とは、言語モデルが長い入力の中で、関連情報が冒頭や末尾にあるときに最もよく活用し、中間にあるときに最も活用できないという傾向です。Liu らの 2023 年の研究で名付けられました。

[ツール呼び出し（Function Calling、tool calling）](https://broadrouter.com/ja/glossary/tool-calling/)

ツール呼び出し（Function Calling とも呼ばれます）とは、開発者が定義した関数の実行を求める構造化されたリクエストを、モデルが JSON の引数付きで返す LLM API の機能です。関数を実行して結果を返すのはアプリケーションで、モデル自身がコードを実行することはありません。

[入力トークンと出力トークン（input and output tokens）](https://broadrouter.com/ja/glossary/input-and-output-tokens/)

入力トークンとは、モデルがリクエストで読むトークンで、システムプロンプト、会話履歴、ツール定義、画像を含みます。出力トークンは、推論を含めモデルが返答として生成するトークンです。LLM API は通常この 2 つを別の単価で課金し、出力のほうが高額です。

[AI コーディングエージェント（AI coding agent）](https://broadrouter.com/ja/glossary/coding-agent/)

AI コーディングエージェントとは、言語モデルがループの中でコードベースに取り組むソフトウェアツールです。ファイルを読み、編集し、テストなどのコマンドを実行し、出力を読んで次の手順を決めることを、タスクが終わるか上限に達するまで繰り返します。

## よくある質問

### モデルに 100 万トークンのコンテキストがあるのに、なぜ管理が必要なのですか？

プロンプトが長くなると、コスト、レイテンシ、精度がすべて変わるからです。長いプロンプトは処理に時間がかかり、トークン課金のキーではターンごとの費用も上がります。また研究によると、モデルは長い入力の中ほどにある情報をあまり確実には使えません。

### エージェントがキャッシュに当たっているかはどう確認しますか？

モデルが報告する場合、usage ブロックに prompt\_tokens\_details.cached\_tokens が含まれます。リクエストごとにこれを prompt\_tokens で割り、その比率を記録してください。

### 定額プランでもコンテキストの圧縮は必要ですか？

請求額の面では不要です。プランのセッションにはトークンの計量がないからです。ただし、非常に長いセッションでは速度と回答の質に影響します。

## 続けて読む

-   [100 万トークンのコンテキストウィンドウが役立つとき（役立たないとき）](https://broadrouter.com/ja/blog/million-token-context-window-guide/)
-   [キャッシュ入力トークンとは：LLM API の請求額を下げる方法](https://broadrouter.com/ja/blog/cached-input-tokens-explained/)
-   [コーディングエージェントの LLM コストを削減する 10 の方法（削減額の試算付き）](https://broadrouter.com/ja/blog/cut-coding-agent-llm-costs/)
-   [コーディングエージェントを夜間に無人で安全に動かす方法](https://broadrouter.com/ja/blog/overnight-coding-agent-runs/)
-   [AI コーディングエージェント 1 回の実行コスト：ステップ数、コンテキストの増加、キャッシュ](https://broadrouter.com/ja/blog/ai-coding-agent-run-cost/)
-   [Claude Code でオープンモデルを使う：プロキシ、ネイティブエンドポイント、制限](https://broadrouter.com/ja/blog/claude-code-with-openai-compatible-models/)
-   [ガイド：chat completions のストリーミングと接続切断への対処](https://broadrouter.com/ja/guides/streaming-chat-completions/)
-   [ガイド：推論モデルが空の回答を返す理由](https://broadrouter.com/ja/guides/reasoning-tokens-empty-response/)
-   [ガイド：エージェント向け無制限 LLM API プランのしくみ](https://broadrouter.com/ja/guides/unlimited-llm-api-sessions/)

実際のワークロードで試してください。新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-long-running-agent-context-management&utm_content=page-cta) ·

**出典**

-   [BroadNet Inference API リファレンス：推論トークンとキャッシュトークン（英語）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-long-running-agent-context-management&utm_content=sources)
-   [Liu ほか「Lost in the Middle: How Language Models Use Long Contexts」（arXiv）](https://arxiv.org/abs/2307.03172)
-   [opencode ドキュメント：コンテキストの圧縮（compaction）](https://opencode.ai/docs/compaction/)
