BroadRouter
始める

ロングコンテキストか RAG か:100 万トークンがベクトル DB に代わるとき

BroadNet Inference チーム · 約 5 分で読めます · 公開日 · 更新日

コーパスがウィンドウに収まり、更新がまれで、質問が全体の多くの箇所にまたがるなら、ロングコンテキストで RAG を置き換えられます。再クエリはキャッシュで安くなります。ウィンドウ超過、頻繁な更新、ユーザー別の権限、1〜2 秒での応答が必要なら RAG です。RAG で検索しロングコンテキストで推論する構成も一般的です。

100 万トークンのコンテキストウィンドウのガイドでは、100 万トークンに何が入るか、1 回のリクエストにいくらかかるかを解説しました。この記事は、どのアーキテクチャレビューでも出てくる、より絞った問いに答えます。**ベクトルデータベースと、それを中心とした RAG のパイプラインを削除してよいのか?**場合によってはイエスです。コスト、レイテンシ、再現率、保守の手間という 4 つの軸で判断する方法を説明します。

ロングコンテキストが RAG に代わるのはどんなときですか?

次の 4 つがすべて当てはまる必要があります。

  1. **コーパスが収まる。**プロンプト、回答、推論の合計が、余裕を残してコンテキストウィンドウに収まること。DeepSeek V4.1 Flash と GLM 5.3 のウィンドウは 1,048,576 トークンです(2 モデルの比較)。文書が収まるかはコンテキストウィンドウ計算ツールで確認できます。
  2. **めったに変わらない。**月に一度更新されるマニュアルなら問題ありません。毎分更新されるチケットキューは向きません。
  3. **全員がすべてを見てよい。**共有のコーパスが 1 つで、ユーザーごとに権限で絞り込む必要がないこと。
  4. 質問がコーパス全体にまたがる。「新しいポリシーと矛盾する契約はどれか?」にはすべてが見えている必要がありますが、「返金の受付期間は?」には必要ありません。

1 つでも当てはまらなければ、検索を残すか、ハイブリッドにしてください。

クエリあたりのコストはどう比べますか?

40 万トークンの文書セットと、500 トークンの回答になる質問を例にします。RAG は、たとえば 8,000 トークン分のチャンクを検索するとします。DeepSeek V4.1 Flash を従量課金キーで使う場合は次のとおりです。

方法 クエリあたりの入力 クエリあたりの入力コスト
ロングコンテキスト、初回クエリ 新規 400,000 0.4 × $0.175
ロングコンテキスト、繰り返しクエリ、プレフィックスはキャッシュ済み キャッシュ約 400,000 約 0.4 × $0.0055
RAG 新規 8,000 0.008 × $0.175

出力はどの場合も同じで、500 トークン × 100 万トークンあたり $0.52 です。(各係数は「100 万トークン単位の量 × 100 万トークンあたりの料金」です。)

ここから 3 つのことがわかります。キャッシュがなければ、ロングコンテキストは RAG の 50 倍のトークンを送るので、クエリあたりの入力コストも 50 倍です。コーパスがキャッシュされれば、差は大きく縮まります。このモデルのキャッシュ入力は新規入力の数パーセントの料金だからです。ただし、キャッシュが効くのはプレフィックスがバイト単位で同一の間だけなので、コーパスは先頭に置いて安定させる必要があります。キャッシュ向けのプロンプト構成を参照してください。RAG には、この表に含まれないコストもあります。コーパスの埋め込み、ベクトルストアの運用、チャンク分割を調整するエンジニアの時間です。埋め込みの部分は埋め込みコスト計算ツールで見積もれます。RAG チャンク計算ツールは、チャンク、クエリあたりのトークン数、月々の LLM の請求というクエリ側を見積もります。

自分のキャッシュ率がいくらの価値になるかは、プロンプトキャッシュ計算ツールで確かめてください。定額プランなら入力の列そのものがなくなります。Full Moon はセッションあたり月 $60 でトークンの計量がないので、40 万トークンのプロンプトも短いプロンプトも同じコストです。

レイテンシはどう比べますか?

モデルは最初のトークンを書く前に、プロンプト全体を読みます。最初のトークンまでの時間はプロンプトの長さとともに延び、数十万トークンのプロンプトは、8,000 トークンのものより書き始めるまでに目に見えて時間がかかります。多くの推論基盤では、キャッシュされたプレフィックスが助けになります。ベクトル検索自体が加える時間はたいてい小さく、生成に比べれば検索の呼び出しはわずかです。

ですから、1〜2 秒で返答しなければならない対話型アシスタントなら、RAG のほうが無難な標準です。深い質問を 1 つ投げて答えを待つアナリストなら、ロングコンテキストで問題ありません。送る予定のサイズで、自分のプロンプトの TTFT を測ってください。

再現率が高いのはどちらですか?

どちらも完璧ではなく、失敗の仕方が違います。

ロングコンテキストは、中ほどの事実を取りこぼすことがあります(lost in the middle)。Lost in the Middle の研究では、情報が入力の冒頭か末尾にあるときにモデルが最もよく活用し、その間にあるときは劣ることがわかりました。RULER ベンチマークでは、単純な「干し草の山から針を探す」テストでほぼ満点のモデルでも、入力が長くなるとより難しいタスクで性能が落ち、32K トークン以上をうたうモデルのうち “only half of them”(訳:半数だけ)が 32K で満足のいく性能を保ったとしています。新しいモデルほど良くなっていますが、公称のウィンドウと、品質が保たれるウィンドウは同じではありません。

RAG は、モデルが動き出す前に失敗します。検索器が該当箇所を取りこぼせば、モデルはそれを目にしません。多くの箇所を必要とする質問や、原文と違う言葉で聞かれた質問は、典型的な取りこぼしです。

失敗のパターン ロングコンテキスト RAG
事実がプロンプトの中ほどに埋もれる 長さとともにリスクが増す 低い。プロンプトが短い
答えに散らばった 20 箇所が必要 強い top-k を大きくしない限り弱い
質問の言葉が原文と違う 強い 埋め込みとリランキング次第
コーパスがウィンドウより大きい 不可能 強い

ロングコンテキスト側の対策は 2 つです。質問は文書の後ろ、最後に置くこと。そして、根拠にした行を引用するようモデルに求めることです。

保守の手間はどうですか?

RAG はシステムです。チャンク分割、埋め込み、インデックス、変更時の再インデックス、権限フィルター、検索品質の評価があります。ロングコンテキストはプロンプトです。ファイルにわかりやすいラベルを付けて連結し、送るだけです。コーパスが収まる小さなチームなら、パイプラインを削除すれば実際の作業が減ります。大きく、変化し、権限管理が必要なコーパスなら、パイプラインはロングコンテキストにはできない仕事をしています。

多くのチームが最終的にたどり着くハイブリッド

  1. 多めに検索します。5 チャンクではなく、文書単位で、最大数十万トークンまで。
  2. スコア順ではなく文書 ID 順など、安定した順序で並べ、関連する質問どうしでプレフィックスがキャッシュされるようにします。
  3. 質問を最後に置き、ロングコンテキストモデルに送ります。
  4. 文書ラベルへの引用を求め、抜き取りで確認します。

こうすれば、巨大なコーパスを扱える RAG の守備範囲と、多くの情報源をまたいで推論できるロングコンテキストの力を両立できます。惜しくも上位に入らなかった文書もプロンプトに残るので、検索器の精度が多少低くても許容できます。

BroadNet Inference が向いている場面

BroadNet Inference は 100 万トークンのモデルを 2 つ、DeepSeek V4.1 Flash と GLM 5.3 を提供しており、コンテキストを削らないので、大きすぎるリクエストは文書を黙って落とすのではなく失敗します。トークン課金のキーでは、キャッシュ入力は安いキャッシュ料金で課金され、無制限プランでは DeepSeek V4.1 Flash のトークン計量そのものがなくなります。API リファレンスに記載されているのは chat completions と文字起こしで、埋め込みのエンドポイントやベクトルストアはないため、RAG の部分は自分で用意してください。ウィンドウには推論トークンの余地も残してください。理由は推論のガイドで説明しています。料金は料金ページにあります。

よくある質問

モデルが 100 万トークンのコンテキストを持つ今、RAG はもう不要ですか?

不要ではありません。コーパス全体が収まり、安定しているなら、ロングコンテキストで検索は要らなくなります。しかし企業のナレッジベースの多くは 100 万トークンより大きく、毎日変わり、権限管理も必要です。そこはまだ RAG の領分です。

ロングコンテキストは RAG より正確ですか?

質問によります。答えに多くの箇所を組み合わせる必要があるなら、ロングコンテキストのほうが得意です。巨大なコーパスから 1 つの事実を探すなら、プロンプトが短くモデルが集中できる分、RAG のほうがよいこともあります。実際の質問で両方を試してください。

100 万トークンのコンテキストウィンドウには何単語入りますか?

BroadRouter のトークナイザーデータセットで 5 つのトークナイザーにわたって測った「1,000 単語あたり 1,290 トークン」で計算すると、DeepSeek V4.1 Flash の 1,048,576 トークンのウィンドウには、平易な英語の文章で約 810,000 単語が入ります。技術的な英語、コード、表、アラビア語は 1 単語あたりのトークン数が多いので、入る量は少なくなります。回答と推論の余地も残してください。

RAG とロングコンテキストは組み合わせられますか?

できます。多くの場合、それが最善の選択肢です。たとえば候補文書を 10 万〜20 万トークン分と多めに検索し、上位 5 チャンクだけでなく、そのすべてを踏まえてロングコンテキストモデルに推論させます。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く