---
title: "Konteks panjang vs RAG: kos, kependaman dan recall | BroadRouter"
description: "Bila tetingkap konteks 1M token boleh menggantikan pangkalan data vektor dan bila RAG masih menang: kos setiap pertanyaan, kependaman, recall, penyelenggaraan."
url: https://broadrouter.com/ms/blog/long-context-vs-rag/
lang: ms
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/blog/long-context-vs-rag/) (dikemas kini 2026-11-16).

# Konteks panjang vs RAG: bila 1M token menggantikan DB vektor

Oleh pasukan BroadNet Inference · 5 minit bacaan · Diterbitkan 2026-11-14 · Dikemas kini 2026-11-16

Konteks panjang menggantikan RAG apabila korpus muat dalam tetingkap, jarang berubah dan soalan memerlukan banyak bahagiannya serentak; cache memastikan pertanyaan berulang kekal murah. RAG masih menang apabila korpus melebihi tetingkap, sentiasa dikemas kini, memerlukan kebenaran setiap pengguna atau mesti menjawab dalam sesaat dua. Banyak sistem mendapatkan semula dengan RAG dan membuat penaakulan dengan konteks panjang.

## Perkara utama

-   Saiz korpus ialah penapis pertama: jika ia tidak muat dalam tetingkap dengan ruang untuk jawapan, anda memerlukan sejenis pendapatan semula (retrieval).
-   Bagi setiap pertanyaan, konteks panjang menghantar keseluruhan korpus; RAG menghantar beberapa ribu token. Cache prefix hanya merapatkan jurang kos apabila korpus stabil.
-   Prompt panjang menaikkan time to first token. RAG mengekalkan prompt pendek dan pantas.
-   Recall dalam konteks panjang tidak sempurna: model menemui fakta di awal dan akhir prompt dengan lebih boleh dipercayai berbanding di tengah.
-   RAG gagal dengan cara berbeza: jika pendapatan semula terlepas petikan itu, model tidak pernah melihatnya. Ukur kedua-duanya pada soalan anda sendiri.

**Dalam halaman ini**

1.  Bilakah konteks panjang menggantikan RAG?
2.  Bagaimanakah perbandingan kos setiap pertanyaan?
3.  Bagaimanakah perbandingan kependaman?
4.  Yang manakah mempunyai recall lebih baik?
5.  Bagaimana pula dengan penyelenggaraan?
6.  Hibrid yang akhirnya digunakan oleh kebanyakan pasukan
7.  Di manakah BroadNet Inference sesuai

[Panduan tetingkap konteks 1M token](https://broadrouter.com/ms/blog/million-token-context-window-guide/) merangkumi apa yang muat dalam sejuta token dan berapa kos satu permintaan. Artikel ini menjawab soalan yang lebih sempit yang timbul dalam setiap semakan seni bina: **bolehkah kita memadam [pangkalan data vektor](https://broadrouter.com/ms/glossary/vector-database/) dan saluran [RAG](https://broadrouter.com/ms/glossary/rag/) di sekelilingnya?** Kadangkala boleh. Berikut cara membuat keputusan, berdasarkan empat paksi: kos, kependaman, recall dan penyelenggaraan.

## Bilakah konteks panjang menggantikan RAG?

Keempat-empat perkara ini patut benar:

1.  **Korpus itu muat.** Prompt ditambah jawapan dan penaakulan kekal dalam [tetingkap konteks](https://broadrouter.com/ms/glossary/context-window/) dengan margin. Pada [DeepSeek V4.1 Flash](https://broadrouter.com/ms/models/deepseek-v4.1-flash/) dan [GLM 5.3](https://broadrouter.com/ms/models/glm-5.3/), tetingkap itu ialah 1,048,576 token ([perbandingan kedua-duanya](https://broadrouter.com/compare/deepseek-v4.1-flash-vs-glm-5.3/)). [Kalkulator tetingkap konteks](https://broadrouter.com/tools/context-window-calculator/) menyemak sama ada dokumen anda muat.
2.  **Ia jarang berubah.** Manual yang dikemas kini setiap bulan tidak mengapa. Baris gilir tiket yang dikemas kini setiap minit tidak sesuai.
3.  **Semua orang boleh melihat keseluruhannya.** Satu korpus dikongsi, tiada kebenaran setiap pengguna untuk ditapis.
4.  **Soalan merentasi korpus.** “Kontrak manakah yang bercanggah dengan dasar baharu?” memerlukan segala-galanya kelihatan; “berapa lama tempoh bayaran balik?” tidak.

Jika salah satu tidak benar, kekalkan pendapatan semula, atau gunakan hibrid.

## Bagaimanakah perbandingan kos setiap pertanyaan?

Ambil set dokumen 400,000 token dan soalan dengan jawapan 500 token. Katakan RAG mendapatkan semula 8,000 token ketulan. Pada kunci [bayar ikut guna](https://broadrouter.com/ms/glossary/pay-as-you-go/) dengan DeepSeek V4.1 Flash:

| Pendekatan | Input setiap pertanyaan | Kos input setiap pertanyaan |
| --- | --- | --- |
| Konteks panjang, pertanyaan pertama | 400,000 baharu | 0.4 × $0.175 |
| Konteks panjang, pertanyaan berulang, prefix dicache | kira-kira 400,000 dicache | kira-kira 0.4 × $0.0055 |
| RAG | 8,000 baharu | 0.008 × $0.175 |

Output adalah sama dalam setiap kes: 500 token × $0.52 setiap 1M. (Setiap pendarab ialah juta token didarab dengan harga setiap 1M.)

Tiga perkara menyusul. Tanpa cache, konteks panjang berharga 50 kali ganda RAG bagi setiap pertanyaan pada input, kerana ia menghantar 50 kali ganda token. Dengan korpus dicache, jurang itu mengecil dengan banyak, kerana input cache pada model ini berharga beberapa peratus daripada input baharu. Tetapi cache hanya bertahan selagi prefix kekal sama byte demi byte, jadi korpus mesti diletakkan dahulu dan kekal stabil; lihat [struktur prompt untuk cache](https://broadrouter.com/ms/blog/prompt-structure-for-caching/). RAG mempunyai kosnya sendiri yang tidak dimasukkan dalam jadual ini: membenamkan korpus, menjalankan stor vektor, dan masa kejuruteraan untuk menala pemotongan ketulan. [Kalkulator kos embedding](https://broadrouter.com/tools/embedding-cost-calculator/) mengira harga bahagian embedding. [Kalkulator chunking RAG](https://broadrouter.com/tools/rag-chunking-calculator/) mengira bahagian pertanyaan: ketulan, token setiap pertanyaan dan bil LLM bulanan.

Untuk melihat nilai kadar cache anda sendiri, cuba [kalkulator prompt caching](https://broadrouter.com/tools/prompt-caching-calculator/). Pada pelan kadar tetap, lajur input hilang: Full Moon ialah $60 sebulan setiap sesi tanpa meter token, jadi prompt 400,000 token berharga sama seperti prompt pendek.

## Bagaimanakah perbandingan kependaman?

Model membaca keseluruhan prompt sebelum menulis token pertama. Time to first token bertambah dengan panjang prompt, dan prompt beratus-ratus ribu token mengambil masa yang ketara lebih lama untuk bermula berbanding prompt 8,000 token. Prefix yang dicache membantu dalam banyak sistem hidangan. Carian vektor itu sendiri biasanya menambah sedikit sahaja; panggilan pendapatan semula adalah kecil berbanding penjanaan.

Jadi untuk pembantu interaktif yang mesti menjawab dalam sesaat dua, RAG ialah pilihan lalai yang lebih selamat. Untuk penganalisis yang bertanya satu soalan mendalam dan menunggu jawapan, konteks panjang tidak mengapa. [Ukur TTFT pada prompt anda sendiri](https://broadrouter.com/ms/blog/llm-latency-ttft-throughput/) pada saiz yang anda rancang untuk hantar.

## Yang manakah mempunyai recall lebih baik?

Kedua-duanya tidak sempurna, dan kedua-duanya gagal dengan cara berbeza.

**Konteks panjang** boleh kehilangan fakta di tengah ([lost in the middle](https://broadrouter.com/ms/glossary/lost-in-the-middle/)). Kajian _Lost in the Middle_ mendapati model menggunakan maklumat dengan paling baik apabila ia berada di awal atau akhir input, dan lebih teruk di antaranya. Penanda aras RULER mendapati model yang hampir sempurna pada ujian needle-in-a-haystack ringkas merosot pada tugasan lebih sukar apabila input bertambah, dan daripada model yang mendakwa 32K token atau lebih, “only half of them” (Terjemahan: hanya separuh daripadanya) mengekalkan prestasi memuaskan pada 32K. Model yang lebih baharu lebih baik, tetapi tetingkap yang diiklankan tidak sama dengan tetingkap di mana kualiti kekal.

**RAG** gagal sebelum model bermula: jika pendapatan semula terlepas petikan itu, model tidak pernah melihatnya. Soalan yang memerlukan banyak petikan, atau yang menggunakan perkataan berbeza daripada sumber, ialah kes terlepas yang klasik.

| Mod kegagalan | Konteks panjang | RAG |
| --- | --- | --- |
| Fakta tertimbus di tengah prompt | Risiko bertambah dengan panjang | Rendah, prompt pendek |
| Jawapan memerlukan 20 petikan bertaburan | Kuat | Lemah melainkan top-k besar |
| Kata-kata pertanyaan berbeza daripada sumber | Kuat | Bergantung pada embeddings dan reranking |
| Korpus lebih besar daripada tetingkap | Tidak mungkin | Kuat |

Dua langkah mitigasi untuk konteks panjang: letakkan soalan di hujung, selepas dokumen, dan minta model memetik baris yang dijadikan sandaran.

## Bagaimana pula dengan penyelenggaraan?

RAG ialah sebuah sistem: pemotongan ketulan, embeddings, indeks, pengindeksan semula apabila berlaku perubahan, penapis kebenaran, penilaian kualiti pendapatan semula. Konteks panjang ialah prompt: cantumkan fail dengan label yang jelas dan hantar. Untuk pasukan kecil dengan korpus yang muat, memadam saluran itu menghapuskan kerja sebenar. Untuk korpus besar, berubah-ubah dan berkebenaran, saluran itu melakukan kerja yang tidak mampu dilakukan oleh konteks panjang.

## Hibrid yang akhirnya digunakan oleh kebanyakan pasukan

1.  Dapatkan semula secara murah hati, bukan lima ketulan tetapi keseluruhan dokumen, sehingga beberapa ratus ribu [token](https://broadrouter.com/ms/glossary/token/).
2.  Susun secara stabil (mengikut ID dokumen, bukan skor) supaya prefix dicache merentas soalan berkaitan.
3.  Letakkan soalan di hujung dan hantar kepada model konteks panjang.
4.  Minta petikan kepada label dokumen, dan semak secara rawak.

Ini mengekalkan jangkauan RAG ke atas korpus yang sangat besar dan keupayaan konteks panjang untuk membuat penaakulan merentas banyak sumber. Ia juga lebih bertolak ansur dengan pendapatan semula yang lebih lemah, kerana dokumen yang hampir terlepas masih berada dalam prompt.

## Di manakah BroadNet Inference sesuai

BroadNet Inference menawarkan dua model 1M token, DeepSeek V4.1 Flash dan GLM 5.3, dan ia tidak memangkas konteks anda, jadi permintaan yang terlalu besar gagal dan bukannya kehilangan dokumen secara senyap. Input cache dibilkan pada kadar cache yang lebih rendah pada kunci setiap token, dan pelan tanpa had menghapuskan meter token sepenuhnya untuk DeepSeek V4.1 Flash. Rujukan API-nya menyenaraikan chat completions dan transkripsi, bukan endpoint embeddings atau stor vektor, jadi untuk bahagian RAG anda perlu membawa sendiri. Tinggalkan ruang untuk [token penaakulan](https://broadrouter.com/ms/glossary/reasoning-tokens/) dalam tetingkap; [panduan penaakulan](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/) menerangkan sebabnya. Harga ada di [halaman harga](https://broadrouter.com/ms/pricing/).

Alat percuma untuk topik ini (Bahasa Inggeris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alatan percuma (Bahasa Inggeris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Token](https://broadrouter.com/ms/glossary/token/)

Token ialah unit teks yang dibaca dan ditulis oleh model bahasa: satu perkataan, sebahagian perkataan, tanda baca atau jujukan bait yang dihasilkan oleh tokenizer model itu. API LLM mengira, mengehadkan dan biasanya mengebil penggunaan dalam token.

[Tetingkap konteks (context window)](https://broadrouter.com/ms/glossary/context-window/)

Tetingkap konteks ialah bilangan maksimum token yang boleh dikendalikan oleh model bahasa dalam satu permintaan. Ia meliputi prompt, sejarah perbualan, definisi alatan, imej dan output yang dijana, termasuk token penaakulan. Apa-apa yang tidak muat mesti dipotong, diringkaskan atau dipecahkan kepada beberapa permintaan.

[Embedding (vektor teks)](https://broadrouter.com/ms/glossary/embeddings/)

Embedding ialah senarai nombor titik terapung (vektor) yang dihasilkan oleh model untuk mewakili sekeping teks, imej atau input lain. Input yang maknanya serupa mendapat vektor yang berdekatan, jadi jarak antara vektor boleh digunakan untuk menyusun hasil carian, mengelompokkan dokumen atau mencari item berkaitan.

[Lost in the middle (hilang di tengah)](https://broadrouter.com/ms/glossary/lost-in-the-middle/)

Lost in the middle ialah kecenderungan model bahasa yang diperhatikan untuk menggunakan maklumat relevan dengan paling baik apabila ia muncul berhampiran awal atau akhir input panjang, dan paling teruk apabila ia berada di tengah. Ia dinamakan dalam kajian 2023 oleh Liu et al.

[Tool calling (panggilan alatan)](https://broadrouter.com/ms/glossary/tool-calling/)

Tool calling, juga dipanggil function calling, ialah ciri API LLM di mana model memulangkan permintaan berstruktur untuk menjalankan fungsi yang ditakrifkan oleh pembangun, bersama argumen JSON. Aplikasi menjalankan fungsi itu dan menghantar hasilnya kembali; model sendiri tidak pernah menjalankan kod.

[Bayar ikut guna (pay-as-you-go)](https://broadrouter.com/ms/glossary/pay-as-you-go/)

Bayar ikut guna ialah model harga di mana anda hanya membayar apa yang anda guna, dimeter mengikut unit seperti token, permintaan atau minit audio, tanpa langganan atau komitmen minimum. Kebanyakan API LLM mengebil dengan cara ini, daripada baki prabayar atau invois berkala.

[Pangkalan data vektor (vector database)](https://broadrouter.com/ms/glossary/vector-database/)

Pangkalan data vektor ialah stor data yang menyimpan vektor embedding, selalunya bersama teks sumber dan metadata, dan menjawab pertanyaan jiran terdekat: berikan vektor pertanyaan dan ia memulangkan vektor tersimpan yang paling serupa dengannya, biasanya mengikut jarak kosinus, jarak Euclidean atau hasil darab dalam.

[Token input cache (cached input tokens)](https://broadrouter.com/ms/glossary/cached-input-tokens/)

Token input cache ialah token prompt yang baru sahaja diproses oleh penyedia LLM dan boleh diguna semula daripada cache tanpa dikira semula, biasanya awalan yang berulang seperti prompt sistem atau dokumen. Penyedia mengebilnya pada kadar lebih rendah daripada token input baharu.

## Soalan lazim

### Adakah RAG sudah mati sekarang setelah model mempunyai tetingkap konteks 1M token?

Tidak. Konteks panjang menghapuskan keperluan pendapatan semula apabila keseluruhan korpus muat dan stabil. Kebanyakan pangkalan pengetahuan syarikat lebih besar daripada sejuta token, berubah setiap hari dan memerlukan kebenaran, dan itu masih wilayah RAG.

### Adakah konteks panjang lebih tepat daripada RAG?

Bergantung pada soalan. Konteks panjang lebih baik apabila jawapan memerlukan gabungan banyak petikan. RAG boleh lebih baik untuk carian satu fakta dalam korpus yang sangat besar, kerana prompt pendek memastikan model kekal fokus. Uji kedua-duanya pada soalan sebenar.

### Berapa banyak perkataan yang muat dalam tetingkap konteks 1 juta token?

Kira-kira 810,000 perkataan prosa Inggeris biasa dalam tetingkap 1,048,576 token DeepSeek V4.1 Flash, berdasarkan 1,290 token setiap 1,000 perkataan yang diukur merentas lima tokenizer dalam set data tokenizer BroadRouter. Bahasa Inggeris teknikal, kod, jadual dan bahasa Arab memerlukan lebih banyak token setiap perkataan, jadi lebih sedikit yang muat. Tinggalkan ruang untuk jawapan dan penaakulan.

### Bolehkah saya menggabungkan RAG dan konteks panjang?

Ya, dan ia selalunya pilihan terbaik. Dapatkan semula secara murah hati, contohnya 100,000 hingga 200,000 token dokumen calon, kemudian biarkan model konteks panjang membuat penaakulan merentas kesemuanya dan bukan hanya lima ketulan teratas.

## Teruskan membaca

-   [Bila tetingkap konteks 1M token berbaloi (dan bila tidak)](https://broadrouter.com/ms/blog/million-token-context-window-guide/)
-   [Cara menyusun prompt supaya prefix di-cache](https://broadrouter.com/ms/blog/prompt-structure-for-caching/)
-   [Token input cache: cara mengurangkan bil API LLM](https://broadrouter.com/ms/blog/cached-input-tokens-explained/)
-   [Kependaman LLM: TTFT vs token sesaat vs masa hujung ke hujung](https://broadrouter.com/ms/blog/llm-latency-ttft-throughput/)
-   [Perkakasan GPU dan pendekatan penyajian BroadNet, menurut BroadNet](https://broadrouter.com/ms/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache respons API LLM untuk jimat kos: cache padanan tepat Python](https://broadrouter.com/ms/blog/cache-llm-responses-cut-cost/)
-   [Panduan: Mengapa model penaakulan memulangkan jawapan kosong](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-long-context-vs-rag&utm_content=page-cta) ·

**Sumber**

-   [Liu et al., Lost in the Middle - How Language Models Use Long Contexts (arXiv 2307.03172)](https://arxiv.org/abs/2307.03172)
-   [Hsieh et al., RULER - What's the Real Context Size of Your Long-Context Language Models? (arXiv 2404.06654)](https://arxiv.org/abs/2404.06654)
-   [Harga dan panjang konteks BroadNet Inference yang boleh dibaca mesin (pricing.json) (Bahasa Inggeris)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-long-context-vs-rag&utm_content=sources)
-   [Rujukan API BroadNet Inference (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-long-context-vs-rag&utm_content=sources)
