BroadRouter
始める

100 万トークンのコンテキストウィンドウが役立つとき(役立たないとき)

BroadNet Inference チーム · 約 4 分で読めます · 公開日

100 万トークンのウィンドウなら、1 回のリクエストにコードベース全体や契約書一式、何時間分もの文字起こしが入り、モデルは検索した断片でなく全体を一度に見られます。ファイル横断の推論や一度きりの分析に向き、大きく変化するコーパスの繰り返し検索なら検索のほうが安価です。DeepSeek V4.1 Flash と GLM 5.3 は 1,048,576 トークンに対応します。

Light shining through towering cliffs made of stacked paper pages.

コンテキストウィンドウは、数千トークンから 100 万トークン超にまで広がりました。BroadNet Inference の DeepSeek V4.1 Flash と GLM 5.3 は、1 リクエストあたり 1,048,576 トークン(プロンプトと回答の合計)を受け付けます。これで作り方は変わりますが、どんなプロンプトでも良くなるわけではありません。

100 万トークンには何が入りますか?

大まかな目安として、トークナイザー効率データセットでは、英語の文章 1,000 単語が 5 つのトークナイザーの平均で約 1,290 トークンでした。つまり 100 万トークンは、平易な文章でおよそ 810,000 単語です。

内容 目安
中規模のコードベース(数万行) 余裕をもって入る
付属書類付きの長い契約書数件 入る
1 日分の会議の文字起こし 入る
依存関係を含む大きなモノレポ 入らないことが多い。ディレクトリを選ぶ

トークン数は言語と内容によって変わります。コードやアラビア語のテキストは、英語の文章より 1 文字あたりのトークンが多くなりがちです。見積もるより、実際のリクエストの usage ブロックで測るか、コンテキストウィンドウ計算ツールでサンプルを確認してください。

BroadNet で 100 万トークンのコンテキストウィンドウを持つモデルは?

モデル コンテキストウィンドウ 入力 出力 画像
DeepSeek V4.1 Flash 1,048,576 $0.175 $0.52 可
GLM 5.3 1,048,576 $0.78 $3.46 不可
Qwen3.8 27B 262,144 $0.175 $2.17 可
BroadNet Gemma 4 VL 26B 32,768 $0.10 $0.22 可

料金は 100 万トークンあたりです。GLM 5.3 は、同じ 100 万トークンのウィンドウでツール呼び出しと構造化出力にも対応しています。

100 万トークンのウィンドウが役立つのはどんなときですか?

  • ファイルをまたぐ推論。「このテストはなぜ失敗するのか?」の答えは、誰も一緒に検索しようとは思わない 5 つのファイルにかかっていることがよくあります。
  • **文書全体のレビュー。**第 4 条と付属書 B の矛盾を見つけるには、両方が見えている必要があります。
  • **一度きりの分析。**一度しか聞かない質問なら、検索インデックスを作る手間のほうが、節約できる手間より大きくなります。
  • **エージェント。**モジュール全体を読めるサブエージェントは、当て推量で間違えることが減ります。エージェントを並列で動かすを参照してください。

検索のほうがまだ良いのはどんなときですか?

どんなウィンドウよりはるかに大きなライブラリでの小さな検索を何度も行う場合、毎分変わるコンテンツ、そして巨大なプロンプトを先に読むと遅延が増える、素早い対話型の回答では、検索が勝ちます。多くの本番システムは両方を使います。最も関連性の高い 20 万トークンを検索し、そのすべてを踏まえてロングコンテキストモデルに推論させるのです。クエリあたりのコスト、レイテンシ、再現率を並べた判断の全体像は、ロングコンテキストか RAG かにまとめています。

モデルは本当にウィンドウ全体を使っていますか?

均等には使っていません。この点で研究の結果は一貫しています。

  • Lost in the Middle の論文(Liu ほか)は、性能が “is often highest when relevant information occurs at the beginning or end of the input context”(訳:関連情報が入力コンテキストの冒頭か末尾にあるときに最も高くなることが多い)としています。
  • Chroma の Context Rot レポートは 18 のモデルをテストし、単純なタスクでも “performance grows increasingly unreliable as input length grows”(訳:入力が長くなるにつれて性能はますます不安定になる)ことを見出しました。

これらの研究は BroadNet 上のモデルをテストしたものではないので、測定結果ではなく警告として受け止めてください。実用上のルールは、100 万トークンを受け付けるウィンドウだからといって、すべてのトークンが等しく注目されるわけではない、ということです。最も重要な内容は冒頭か末尾の近くに置き、自分の文書で再現率をテストしてください。

100 万トークンのプロンプトにはいくらかかりますか?

従量課金キーでは、DeepSeek V4.1 Flash は 100 万入力トークンあたり $0.175、100 万キャッシュ入力トークンあたり $0.0055 で課金されます。100 万トークンいっぱいのプロンプトは、初回は約 $0.175 で、プレフィックスがキャッシュされれば繰り返しの呼び出しははるかに安くなります。キャッシュ率を上げる方法を参照してください。

プロンプトキャッシュ計算ツールを使えば、自分のプロンプトサイズでキャッシュヒットがどれだけ節約になるかがわかります。具体例として、同じ 80 万トークンの契約書一式について 10 の質問をするとします。キャッシュがなければ、100 万トークンあたり $0.175 で 800 万トークンです。文書を先頭に置いて同一に保てば、初回の呼び出しは新規の 80 万トークンを読み、続く 9 回はその大部分を 100 万トークンあたり $0.0055 でキャッシュから読めます。変わるのは質問と回答だけです。

無制限プランでは、プロンプトのサイズで請求額は変わりません。Full Moon はセッションあたり月 $60 で、トークンの計量はありません。ロングコンテキストのエージェントが、トークン課金より定額プランを選ぶよくある理由になっているのはこのためです。

回答にはどれくらい余地を残すべきですか?

ウィンドウにはプロンプトと出力の両方が含まれ、推論モデルでは出力に思考も含まれます。1,040,000 トークンのプロンプトを送ると、推論と回答に残るのは約 8,000 トークンだけです。余裕を確保し、max_tokens を明示的に設定し、推論モデルが空の回答を返すことがある理由をお読みください。

100 万トークンのプロンプトに向けてコードベースを準備する方法

  1. **モデルに不要なものを除外します。**ロックファイル、ビルド成果物、vendoring した依存関係、画像、生成コードはトークンを食い、ノイズを増やします。
  2. **送る前に数えます。**小さなサンプルを送り、usage から prompt_tokens を読み、スケールアップします。
  3. **安定性の順に並べます。**めったに変わらないファイルを先に、編集中のファイルを後に、質問を一番最後に置きます。こうするとプレフィックスがキャッシュされ続けます。
  4. すべてのファイルにラベルを付けます。=== path/to/file.py === のようなわかりやすい区切りでファイルを囲めば、モデルが引用できます。
  5. 引用を求めます。「根拠にした行を引用してください」と頼むと、巨大な入力での自信満々な間違いが減ります。
  6. **測ります。**リクエストごとにプロンプトトークン、キャッシュトークン、最初のトークンまでの時間をログに残します。ストリーミングなら、最初のトークンが届いた時点で表示できます。

BroadNet Inference が向いている場面

チャットモデルのうち 2 つが 1 リクエストあたり 1,048,576 トークンを受け付け、BroadNet はコンテキストを削りません。トークン課金のキーではキャッシュで繰り返しの長いプロンプトを手頃に保て、プランのセッションではプロンプトのサイズが請求に影響しません。コーパスが 100 万トークンをはるかに超える場合や毎分変わる場合は、やはり検索が必要で、それはウィンドウのサイズでは変わりません。

よくある質問

BroadNet は長いプロンプトを切り詰めますか?

いいえ。BroadNet はコンテキストを削りません。プロンプトと max_tokens の合計がモデルのウィンドウを超える場合は、黙って切り詰められることを当てにせず、プロンプトを短くしてください。

100 万トークンは何単語ですか?

言語と内容によります。BroadRouter のトークナイザーデータセットでは、英語の文章は 100 単語あたり約 129 トークン(5 つのトークナイザーの平均で、1,000 単語が約 1,290 トークン)だったので、1,048,576 トークンにはおよそ 810,000 単語、優に千ページ以上が入ります。技術文書、コード、アラビア語はより多くのトークンを使うので、実際の内容で数えてください。

100 万トークンのリクエストは遅いですか?

モデルは先にプロンプト全体を読む必要があるので、短いリクエストより書き始めるまでに時間がかかります。繰り返しの呼び出しでは、たいていキャッシュされたプレフィックスが役立ちます。自分のプロンプトで最初のトークンまでの時間を測ってください。

LLM は本当にコンテキストウィンドウ全体を使っていますか?

均等には使っていません。Lost in the Middle の論文は、関連情報が入力の冒頭か末尾にあるときに精度が最も高くなることが多いとし、Chroma の Context Rot レポートは、入力が長くなるにつれて信頼性が下がるとしています。重要な内容は両端に置き、自分のデータでテストしてください。

RAG はもう使わなくてよいですか?

必ずしもそうではありません。モデルがすべてを一緒に見る必要があるならロングコンテキストを、巨大なライブラリからいくつかの事実を拾うなら検索を使います。両方を組み合わせるシステムも多くあります。

プロンプトがコンテキストウィンドウより大きいとどうなりますか?

BroadNet は代わりに切り詰めないので、リクエストは意図どおりに動きません。送る前にファイルを外す、古いターンを要約する、関連する部分だけを検索する、のいずれかをしてください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く