Saiz chunk dan overlap ialah dua angka yang ditetapkan awal oleh setiap saluran RAG dan jarang disemak semula. Kedua-duanya menentukan berapa banyak vektor yang anda simpan, berapa banyak token yang anda benamkan, berapa banyak token yang dihantar setiap soalan kepada LLM, dan sama ada petikan yang betul ditemui sama sekali. Artikel ini menunjukkan dapatan ujian yang diterbitkan, kemudian mengira matematik token supaya anda dapat melihat kos setiap tetapan sebelum membenamkan apa-apa.
Jika anda masih memutuskan sama ada mahu menggunakan RAG, mulakan dengan konteks panjang vs RAG. Untuk dokumen Arab, baca RAG bahasa Arab dan normalisasi teks Arab bersama artikel ini.
Apakah yang diubah oleh saiz chunk dan overlap?
- Saiz chunk ialah bilangan token dalam setiap kepingan yang anda benamkan dan dapatkan semula.
- Overlap ialah bilangan token yang dikongsi oleh chunk berturutan, supaya ayat yang terpotong di sempadan muncul secara utuh dalam sekurang-kurangnya satu chunk.
- Top-k ialah bilangan chunk yang anda dapatkan semula bagi setiap soalan.
Bersama-sama, ketiga-tiganya menentukan empat perkara:
| Kuantiti | Formula (dokumen panjang) |
|---|---|
| Chunk yang disimpan | token korpus ÷ (saiz − overlap) |
| Token yang dibenamkan | token korpus × saiz ÷ (saiz − overlap) |
| Konteks setiap pertanyaan | top-k × saiz |
| Input LLM setiap pertanyaan | top-k × saiz + system prompt + soalan |
Dua yang pertama dibayar sekali bagi setiap larian pengindeksan, dan sekali lagi setiap kali anda memotong semula. Yang terakhir dibayar pada setiap soalan, selama-lamanya.
Apakah kata ujian yang diterbitkan tentang saiz chunk?
Dua penilaian awam patut diketahui, kerana masing-masing mengukur perkara berbeza.
Chroma (Smith dan Troynikov, Julai 2024) mengukur pendapatan semula pada peringkat token: berapa banyak teks relevan yang didapatkan semula (recall), dan berapa banyak daripada yang didapatkan semula adalah relevan. Ia menggunakan lima chunk yang didapatkan semula dan text-embedding-3-large OpenAI. Baris terpilih:
| Pemecah | Saiz (token) | Overlap | Recall | IoU |
|---|---|---|---|---|
| Recursive | 800 | 400 | 85.4% | 1.5% |
| Token | 800 | 400 | 87.9% | 1.4% |
| Recursive | 400 | 200 | 88.1% | 3.3% |
| Recursive | 400 | 0 | 89.5% | 3.6% |
| Recursive | 200 | 0 | 88.1% | 6.9% |
IoU (intersection over union) mengukur berapa banyak teks yang didapatkan semula adalah relevan, jadi ia juga menjadi ukuran token yang terbazir. Baris 800/400 sepadan dengan tetapan lalai OpenAI untuk file search; dengan andaian pemecah token, Chroma mendapati tetapan itu memberi recall sedikit di bawah purata dan skor terendah pada metrik lain. Chunk yang lebih kecil tanpa overlap mempunyai recall yang sama atau lebih tinggi dan membawa jauh lebih sedikit teks tidak relevan.
NVIDIA (Jun 2025) mengukur ketepatan jawapan hujung ke hujung pada lima set data, dengan chunk token 128 hingga 2,048 pada overlap 15%, serta chunking peringkat halaman dan peringkat seksyen. Chunking peringkat halaman mempunyai ketepatan purata tertinggi (0.648) dan varians terendah. Saiz token terbaik bergantung pada soalan: set faktoid memihak kepada 256 hingga 512 token, set analitikal kepada 1,024 token atau halaman penuh. Kedua-dua hujung ekstrem, 128 dan 2,048, biasanya lebih teruk.
Kedua-duanya bersetuju tentang satu perkara: tiada saiz terbaik yang universal, dan chunk yang sangat besar dengan overlap yang berat jarang menjadi tetapan lalai yang betul.
Berapa banyak overlap membesarkan indeks?
Setiap chunk maju sebanyak saiz − overlap token, jadi indeks memegang saiz ÷ (saiz − overlap) salinan korpus. Untuk korpus 2,000,000 token yang terdiri daripada dokumen 10,000 token:
| Saiz | Overlap | Chunk | Token dibenamkan | Pembesaran |
|---|---|---|---|---|
| 200 | 0 | 10,000 | 2,000,000 | 1.00× |
| 400 | 0 | 5,000 | 2,000,000 | 1.00× |
| 512 | 77 (15%) | 4,600 | 2,338,800 | 1.17× |
| 1,024 | 154 (15%) | 2,400 | 2,338,800 | 1.17× |
| 800 | 400 (50%) | 4,800 | 3,840,000 | 1.92× |
| 400 | 200 (50%) | 9,800 | 3,920,000 | 1.96× |
Dokumen pendek membesar sedikit kurang, kerana chunk terakhir setiap dokumen tidak penuh. Formula memberi hadnya: overlap 15% menambah kos kira-kira 18%, dan 50% menambah kira-kira 100%, dalam token embedding, storan vektor dan masa pengindeksan semula.
Overlap juga ada kosnya pada masa pertanyaan. Dengan overlap 50%, dua chunk bersebelahan yang didapatkan semula untuk soalan yang sama mengulang separuh teksnya. Anda membayar untuk token pendua itu, dan ia menolak petikan relevan lain keluar daripada top-k.
BroadNet tidak menjual embeddings, jadi bahagian bil ini pergi kepada penyedia embedding anda. Kira harganya dengan kalkulator kos embedding.
Apakah kesan saiz chunk pada bil LLM?
Setiap soalan menghantar top-k chunk ditambah prompt. Ambil 100,000 soalan sebulan, 600 token system prompt dan soalan, dan jawapan 300 token yang sama setiap kali:
| Saiz × top-k | Konteks setiap pertanyaan | Input setiap pertanyaan | Input sebulan |
|---|---|---|---|
| 200 × 10 | 2,000 | 2,600 | 260 juta |
| 400 × 5 | 2,000 | 2,600 | 260 juta |
| 512 × 5 | 2,560 | 3,160 | 316 juta |
| 800 × 5 | 4,000 | 4,600 | 460 juta |
| 1,024 × 5 | 5,120 | 5,720 | 572 juta |
| 1,024 × 8 | 8,192 | 8,792 | 879 juta |
Output ialah 30 juta token sebulan dalam setiap baris, jadi hanya input yang berubah. Pada harga setiap 1M token, kos input bulanan ialah angka juta dalam lajur terakhir didarab dengan harga itu. Pada Gemma 4 VL 26B pada $0.10 setiap 1M token input, susunan 1,024 × 8 berharga 879 × $0.10 sebulan untuk input berbanding 260 × $0.10 untuk 400 × 5. Itu 3.4 kali ganda, untuk tetapan yang tidak ditunjukkan oleh ujian yang diterbitkan sebagai mempunyai recall lebih baik. Pada Qwen3.8 27B (input $0.175) atau GLM 5.3 (input $0.78), nisbahnya sama dan jumlahnya lebih besar.
Dua tuil menggerakkan angka ini lebih banyak daripada harga model:
- Rendahkan k apabila menaikkan saiz. 200 × 10 dan 400 × 5 menghantar konteks yang sama. Kekalkan konteks setiap pertanyaan lebih kurang tetap semasa menguji saiz, supaya anda membandingkan kualiti pendapatan semula, bukan bajet konteks.
- Cache bahagian yang tetap. Letakkan system prompt dahulu dan kekalkannya sama byte demi byte, supaya ia boleh dibilkan pada kadar input cache pada model yang mempunyainya. Chunk yang didapatkan semula berubah setiap soalan dan jarang dicache.
Had konteks juga penting. Gemma 4 VL 26B menerima 32,768 token setiap permintaan, lebih daripada cukup untuk mana-mana baris di atas. Jika anda menolak k × saiz ke arah puluhan ribu token, anda telah beralih daripada RAG ke arah konteks panjang, dan perbandingan itu mempunyai matematiknya sendiri. Kalkulator chunking RAG menjalankan formula ini untuk korpus, saiz chunk, overlap dan top-k anda sendiri.
Bagaimanakah cara memotong mengikut token tanpa memotong perkataan?
Kira dalam token, tetapi potong pada struktur. RecursiveCharacterTextSplitter LangChain mengukur saiz dengan length_function-nya, yang secara lalai ialah panjang aksara. Maka “saiz” 512 ialah 512 aksara, kira-kira 100 hingga 150 token bahasa Inggeris, dan angka yang berbeza lagi untuk bahasa Arab; lihat token setiap perkataan dalam bahasa Arab. Had embedding dan bil LLM adalah dalam token.
Pemotong ini mengisi perenggan penuh sehingga bajet token dan membawa perenggan di hujung ke hadapan sebagai overlap. Memotong pada sempadan perenggan mengelakkan pemisahan perkataan atau aksara Arab berbilang bait, yang boleh berlaku dengan tetingkap token mentah.
import tiktoken
enc = tiktoken.get_encoding("o200k_base") # an estimate: count with your embedder's tokenizer
count = lambda s: len(enc.encode(s))
def chunk(text, size=512, overlap=64):
"""Pack whole paragraphs up to `size` tokens; repeat trailing paragraphs up to `overlap` tokens."""
chunks, cur, cur_len = [], [], 0
for para in (p.strip() for p in text.split("\n\n")):
if not para:
continue
n = count(para)
if cur and cur_len + n > size:
chunks.append("\n\n".join(cur))
tail, t = [], 0
for q in reversed(cur): # carry the end of this chunk forward
if t + count(q) > overlap:
break
tail.insert(0, q); t += count(q)
cur, cur_len = tail, t
cur.append(para); cur_len += n # a paragraph over `size` stays whole
if cur:
chunks.append("\n\n".join(cur))
return chunks
def plan(corpus_tokens, size, overlap, k, queries_per_month, prompt_tokens=600):
index_tokens = corpus_tokens * size / (size - overlap) # long-document limit
per_query = k * size + prompt_tokens
return {"chunks": round(index_tokens / size), "tokens_to_embed": round(index_tokens),
"input_per_query": per_query, "input_per_month": per_query * queries_per_month}
print(plan(2_000_000, 512, 64, 5, 100_000))
# {'chunks': 4464, 'tokens_to_embed': 2285714, 'input_per_query': 3160, 'input_per_month': 316000000}
Overlap di sini bermaksud “sehingga”: perenggan yang lebih panjang daripada bajet overlap tidak diulang. Satu perenggan yang lebih panjang daripada size kekal utuh; pecahkan perenggan sebegini mengikut ayat dahulu jika dokumen anda mempunyainya. Tambah awalan pada setiap chunk dengan tajuk dokumen dan tajuk seksyennya, supaya chunk yang didapatkan semula masih menyatakan topiknya. Ini menambah beberapa token setiap chunk dan selalunya lebih membantu daripada overlap.
Bagaimanakah cara memilih angka untuk data anda?
- Bina set penilaian. 50 hingga 200 soalan sebenar, setiap satu dengan petikan yang menjawabnya. Panduan penilaian LLM merangkumi pemarkahan.
- Tetapkan bajet konteks. Kekalkan k × saiz hampir satu nilai, seperti 2,000 token, semasa membandingkan saiz.
- Cuba tiga saiz dan dua overlap. Contohnya 256, 512 dan 1,024 token, setiap satu pada overlap 0 dan 15%. Ukur recall petikan yang betul pada k.
- Cuba struktur. Jika dokumen anda mempunyai halaman atau seksyen bernombor, uji chunk peringkat halaman atau peringkat seksyen berbanding saiz token. NVIDIA mendapati peringkat halaman paling konsisten.
- Pilih tetapan termurah yang berada dalam satu atau dua mata daripada recall terbaik, kemudian kira harganya pada jumlah pertanyaan anda dengan kaedah kos bulanan.
Lakukan ini pada sampel sebelum membenamkan keseluruhan korpus. Menukar chunking kemudian bermakna membenamkan semula segala-galanya.
Di manakah BroadNet Inference sesuai
BroadNet Inference menghidangkan langkah menjawab dalam RAG, bukan pendapatan semula. Ia tidak menjual embeddings atau storan vektor, jadi pasangkannya dengan penyedia embeddings dan pangkalan data vektor pilihan anda. Untuk jawapan, Gemma 4 VL 26B ialah pilihan kos rendah dan berjalan pada kredit permulaan $5. Qwen3.8 27B (konteks 262,144 token) dan GLM 5.3 (1,048,576) sesuai untuk top-k yang lebih besar atau dokumen panjang, selepas tambah nilai. Prompt dan petikan yang didapatkan semula tidak disimpan selepas permintaan. Jika korpus anda cukup kecil dan stabil untuk muat dalam tetingkap konteks, konteks panjang mungkin lebih baik daripada chunking sepenuhnya.
