BroadRouter

Chunk size dan overlap RAG: pengaruhnya pada retrieval dan biaya

Oleh tim BroadNet Inference · 7 menit baca · Dipublikasikan · Diperbarui

Mulailah dengan chunk sekitar 256 sampai 512 token, overlap 0 sampai 15%, dan top-k yang disetel dengan query Anda sendiri. Chunk yang lebih besar menaikkan token yang dikirim setiap query ke LLM. Overlap melipatgandakan token yang Anda embed dan simpan sebesar size ÷ (size − overlap), jadi overlap 50% menggandakan indeks. Uji yang dipublikasikan menemukan chunk kecil atau tanpa overlap sering memberi recall setara atau lebih baik.

Chunk size dan overlap adalah dua angka yang ditetapkan setiap pipeline RAG di awal dan jarang ditinjau ulang. Keduanya menentukan berapa vektor yang Anda simpan, berapa token yang Anda embed, berapa token yang dikirim setiap pertanyaan ke LLM, dan apakah bagian yang tepat ditemukan sama sekali. Artikel ini menunjukkan temuan uji yang dipublikasikan, lalu menghitung matematika tokennya agar Anda bisa melihat biaya setiap pengaturan sebelum meng-embed apa pun.

Jika Anda masih memutuskan apakah akan memakai RAG sama sekali, mulailah dari long context vs RAG. Untuk dokumen berbahasa Arab, baca RAG bahasa Arab dan normalisasi teks Arab bersama artikel ini.

Apa yang diubah oleh chunk size dan overlap?

  • Chunk size adalah jumlah token di setiap potongan yang Anda embed dan ambil.
  • Overlap adalah jumlah token yang sama-sama dimiliki chunk yang berurutan, agar kalimat yang terpotong di batas chunk muncul utuh di setidaknya satu chunk.
  • Top-k adalah jumlah chunk yang Anda ambil per pertanyaan.

Bersama-sama, ketiganya menentukan empat hal:

Besaran Rumus (dokumen panjang)
Chunk yang disimpan token korpus ÷ (size − overlap)
Token yang di-embed token korpus × size ÷ (size − overlap)
Konteks per query top-k × size
Input LLM per query top-k × size + system prompt + pertanyaan

Dua yang pertama dibayar sekali per proses indexing, dan dibayar lagi setiap kali Anda melakukan chunking ulang. Yang terakhir dibayar di setiap pertanyaan, selamanya.

Apa kata uji yang dipublikasikan soal chunk size?

Ada dua evaluasi publik yang layak diketahui, karena keduanya mengukur hal yang berbeda.

Chroma (Smith dan Troynikov, Juli 2024) mengukur retrieval di level token: seberapa banyak teks relevan yang terambil (recall), dan seberapa banyak yang terambil itu relevan. Evaluasinya memakai lima chunk yang diambil dan text-embedding-3-large dari OpenAI. Baris terpilih:

Splitter Ukuran (token) Overlap Recall IoU
Recursive 800 400 85,4% 1,5%
Token 800 400 87,9% 1,4%
Recursive 400 200 88,1% 3,3%
Recursive 400 0 89,5% 3,6%
Recursive 200 0 88,1% 6,9%

IoU (intersection over union) mengukur seberapa banyak teks yang terambil itu relevan, jadi sekaligus menjadi ukuran token yang terbuang. Baris 800/400 sama dengan default OpenAI untuk file search; dengan asumsi splitter token, Chroma menemukan pengaturan itu memberi recall sedikit di bawah rata-rata dan skor terendah di metrik lainnya. Chunk yang lebih kecil tanpa overlap memberi recall setara atau lebih tinggi dan membawa jauh lebih sedikit teks yang tidak relevan.

NVIDIA (Juni 2025) mengukur akurasi jawaban end-to-end pada lima dataset, dengan chunk token 128 sampai 2.048 pada overlap 15%, ditambah chunking per halaman dan per bagian. Chunking per halaman punya akurasi rata-rata tertinggi (0,648) dan variansi terendah. Ukuran token terbaik bergantung pada pertanyaannya: set faktual cocok dengan 256 sampai 512 token, set analitis dengan 1.024 token atau halaman utuh. Kedua ekstrem, 128 dan 2.048, biasanya lebih buruk.

Keduanya sepakat dalam satu hal: tidak ada ukuran terbaik yang universal, dan chunk yang sangat besar dengan overlap tinggi jarang menjadi default yang tepat.

Seberapa besar overlap menggelembungkan indeks?

Setiap chunk maju sebanyak size − overlap token, jadi indeks menyimpan size ÷ (size − overlap) salinan korpus. Untuk korpus 2.000.000 token yang terdiri dari dokumen 10.000 token:

Size Overlap Chunk Token yang di-embed Penggelembungan
200 0 10.000 2.000.000 1,00×
400 0 5.000 2.000.000 1,00×
512 77 (15%) 4.600 2.338.800 1,17×
1.024 154 (15%) 2.400 2.338.800 1,17×
800 400 (50%) 4.800 3.840.000 1,92×
400 200 (50%) 9.800 3.920.000 1,96×

Dokumen pendek menggelembung sedikit lebih kecil, karena chunk terakhir setiap dokumen tidak penuh. Rumusnya memberi batas atas: overlap 15% berarti biaya sekitar 18% lebih tinggi, dan 50% sekitar 100% lebih tinggi, dalam token embedding, penyimpanan vektor, dan waktu re-indexing.

Overlap juga punya biaya saat query. Dengan overlap 50%, dua chunk bertetangga yang diambil untuk pertanyaan yang sama mengulang separuh teksnya. Anda membayar token duplikat itu, dan token tersebut mendorong bagian relevan lain keluar dari top-k.

BroadNet tidak menjual embedding, jadi sisi tagihan ini dibayar ke penyedia embedding Anda. Hitung dengan kalkulator biaya embedding.

Apa pengaruh chunk size pada tagihan LLM?

Setiap pertanyaan mengirim top-k chunk plus prompt. Ambil contoh 100.000 pertanyaan per bulan, 600 token system prompt dan pertanyaan, dan jawaban 300 token yang sama setiap kali:

Size × top-k Konteks per query Input per query Input per bulan
200 × 10 2.000 2.600 260 juta
400 × 5 2.000 2.600 260 juta
512 × 5 2.560 3.160 316 juta
800 × 5 4.000 4.600 460 juta
1.024 × 5 5.120 5.720 572 juta
1.024 × 8 8.192 8.792 879 juta

Output-nya 30 juta token per bulan di setiap baris, jadi hanya input yang berubah. Dengan harga per 1M token, biaya input bulanan adalah angka juta di kolom terakhir dikali harga itu. Di Gemma 4 VL 26B dengan harga $0.10 per 1M token input, pengaturan 1.024 × 8 menelan biaya input 879 × $0.10 per bulan, dibandingkan 260 × $0.10 untuk 400 × 5. Itu 3,4 kali lipat, untuk pengaturan yang tidak terbukti memberi recall lebih baik di uji yang dipublikasikan. Di Qwen3.8 27B (input $0.175) atau GLM 5.3 (input $0.78), rasionya sama dan totalnya lebih besar.

Ada dua tuas yang pengaruhnya lebih besar daripada harga model:

  1. Turunkan k saat Anda menaikkan ukuran. 200 × 10 dan 400 × 5 mengirim konteks yang sama. Jaga konteks per query kurang lebih tetap saat menguji ukuran, agar yang Anda bandingkan adalah kualitas retrieval, bukan anggaran konteks.
  2. Cache bagian yang tetap. Letakkan system prompt di awal dan jaga agar identik byte demi byte, sehingga bisa ditagih dengan tarif input cache pada model yang memilikinya. Chunk yang diambil berubah per pertanyaan dan jarang ter-cache.

Batas konteks juga penting. Gemma 4 VL 26B menerima 32.768 token per permintaan, lebih dari cukup untuk baris mana pun di atas. Jika Anda mendorong k × size ke puluhan ribu token, Anda sudah bergeser dari RAG ke arah long context, dan perbandingan itu punya hitungannya sendiri. Kalkulator chunking RAG menjalankan rumus-rumus ini untuk korpus, chunk size, overlap, dan top-k Anda sendiri.

Bagaimana melakukan chunking per token tanpa memotong kata?

Hitung dalam token, tetapi potong mengikuti struktur. RecursiveCharacterTextSplitter milik LangChain mengukur ukuran dengan length_function, yang secara default adalah panjang karakter. “Size” 512 berarti 512 karakter, kira-kira 100 sampai 150 token bahasa Inggris, dan angka yang berbeda lagi untuk bahasa Arab; lihat token per kata dalam bahasa Arab. Batas embedding dan tagihan LLM dihitung dalam token.

Chunker ini mengemas paragraf utuh sampai anggaran token tertentu dan membawa paragraf di bagian akhir ke chunk berikutnya sebagai overlap. Memotong di batas paragraf mencegah terpotongnya kata atau karakter Arab multi-byte, yang bisa terjadi pada window token mentah.

import tiktoken

enc = tiktoken.get_encoding("o200k_base")    # an estimate: count with your embedder's tokenizer
count = lambda s: len(enc.encode(s))

def chunk(text, size=512, overlap=64):
    """Pack whole paragraphs up to `size` tokens; repeat trailing paragraphs up to `overlap` tokens."""
    chunks, cur, cur_len = [], [], 0
    for para in (p.strip() for p in text.split("\n\n")):
        if not para:
            continue
        n = count(para)
        if cur and cur_len + n > size:
            chunks.append("\n\n".join(cur))
            tail, t = [], 0
            for q in reversed(cur):                  # carry the end of this chunk forward
                if t + count(q) > overlap:
                    break
                tail.insert(0, q); t += count(q)
            cur, cur_len = tail, t
        cur.append(para); cur_len += n              # a paragraph over `size` stays whole
    if cur:
        chunks.append("\n\n".join(cur))
    return chunks

def plan(corpus_tokens, size, overlap, k, queries_per_month, prompt_tokens=600):
    index_tokens = corpus_tokens * size / (size - overlap)   # long-document limit
    per_query = k * size + prompt_tokens
    return {"chunks": round(index_tokens / size), "tokens_to_embed": round(index_tokens),
            "input_per_query": per_query, "input_per_month": per_query * queries_per_month}

print(plan(2_000_000, 512, 64, 5, 100_000))
# {'chunks': 4464, 'tokens_to_embed': 2285714, 'input_per_query': 3160, 'input_per_month': 316000000}

Overlap di sini bersifat “paling banyak”: paragraf yang lebih panjang dari anggaran overlap tidak diulang. Satu paragraf yang lebih panjang dari size tetap utuh; pecah paragraf seperti itu per kalimat terlebih dahulu jika dokumen Anda memilikinya. Awali setiap chunk dengan judul dokumen dan judul bagiannya, agar chunk yang diambil tetap menjelaskan topiknya. Ini menambah beberapa token per chunk dan sering lebih membantu daripada overlap.

Bagaimana memilih angka untuk data Anda?

  1. Buat set evaluasi. 50 sampai 200 pertanyaan nyata, masing-masing dengan bagian teks yang menjawabnya. Panduan evaluasi LLM membahas cara penilaiannya.
  2. Tetapkan anggaran konteks. Jaga k × size di sekitar satu nilai, misalnya 2.000 token, selama membandingkan ukuran.
  3. Coba tiga ukuran dan dua overlap. Misalnya 256, 512, dan 1.024 token, masing-masing dengan overlap 0 dan 15%. Ukur recall bagian yang benar pada k.
  4. Coba struktur. Jika dokumen Anda punya halaman atau bagian bernomor, uji chunk per halaman atau per bagian terhadap ukuran token. NVIDIA menemukan chunk per halaman paling konsisten.
  5. Pilih pengaturan termurah yang recall-nya selisih satu dua poin dari yang terbaik, lalu hitung biayanya pada volume query Anda dengan metode biaya bulanan.

Lakukan ini pada sampel sebelum meng-embed seluruh korpus. Mengubah chunking belakangan berarti meng-embed ulang semuanya.

Posisi BroadNet Inference

BroadNet Inference melayani langkah jawaban dari RAG, bukan retrieval. BroadNet tidak menjual embedding atau penyimpanan vektor, jadi pasangkan dengan penyedia embedding dan vector database pilihan Anda. Untuk jawaban, Gemma 4 VL 26B adalah opsi berbiaya rendah dan bisa dipakai dengan kredit awal $5. Qwen3.8 27B (konteks 262.144 token) dan GLM 5.3 (1.048.576) cocok untuk top-k yang lebih besar atau dokumen panjang, setelah top up. Prompt dan bagian teks yang diambil tidak disimpan setelah permintaan. Jika korpus Anda cukup kecil dan stabil untuk muat di context window, long context mungkin lebih baik daripada chunking sama sekali.

Pertanyaan umum

Berapa chunk size yang bagus untuk RAG?

Mulai dari sekitar 256 sampai 512 token lalu uji. Evaluasi Chroma menemukan 200 sampai 400 token tanpa overlap berkinerja baik. NVIDIA menemukan 256 sampai 512 token cocok untuk pertanyaan faktual, sedangkan pertanyaan analitis lebih baik dengan chunk 1.024 token atau per halaman.

Berapa chunk overlap yang sebaiknya saya pakai?

Lebih sedikit daripada kebanyakan default. NVIDIA menemukan 15% sebagai yang terbaik dari 10%, 15%, dan 20% yang dicobanya pada satu dataset. Chroma menemukan pengaturan tanpa overlap sering mendapat skor setara atau lebih baik. Setiap poin overlap menambah token yang harus di-embed, disimpan, dan dikirim.

Apakah chunk size yang lebih besar lebih mahal?

Untuk embedding, tanpa overlap, tidak: jumlah token korpusnya sama. Per query lebih mahal, karena setiap chunk yang diambil lebih panjang, sehingga top-k × chunk size membesar. Turunkan k saat Anda menaikkan ukurannya.

Apakah chunk size diukur dalam token atau karakter?

Tergantung splitter-nya. RecursiveCharacterTextSplitter milik LangChain mengukur dengan length_function, yang secara default adalah panjang karakter. Batas embedding dan tagihan LLM dihitung dalam token, jadi berikan penghitung token.

Apakah saya harus embed ulang saat mengubah chunk size?

Ya. Batas baru menghasilkan chunk baru, dan setiap chunk butuh vektor baru. Embed ulang berarti membayar seluruh indeks lagi, jadi tetapkan chunking pada sampel sebelum Anda meng-embed seluruh korpus.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity