BroadRouter

RAG 청크 크기와 오버랩: 검색 품질과 비용에 미치는 영향

BroadNet Inference 팀 · 7분 분량 · 게시 · 업데이트

청크는 약 256~512토큰, 오버랩은 0~15%로 시작하고, top-k는 직접 가진 쿼리로 조정하세요. 청크가 클수록 매 쿼리가 LLM에 보내는 토큰이 늘어납니다. 오버랩은 임베딩하고 저장하는 토큰을 크기 ÷ (크기 − 오버랩)배로 늘리므로, 50% 오버랩은 인덱스를 두 배로 만듭니다. 공개된 테스트에서는 작거나 오버랩 없는 청크가 재현율이 같거나 더 높은 경우가 많았습니다.

청크 크기와 오버랩은 모든 RAG 파이프라인이 초기에 정하고 좀처럼 다시 보지 않는 두 숫자입니다. 이 두 값이 저장하는 벡터 수, 임베딩하는 토큰 수, 질문마다 LLM에 보내는 토큰 수, 그리고 애초에 올바른 구절을 찾을 수 있는지를 결정합니다. 이 글에서는 공개된 테스트 결과를 보여 드린 다음, 토큰 계산을 차근차근 따라가며 무엇이든 임베딩하기 전에 각 설정의 비용을 확인할 수 있게 합니다.

애초에 RAG를 쓸지부터 고민 중이라면 롱 컨텍스트 vs RAG부터 읽어 보세요. 아랍어 문서라면 이 글과 함께 아랍어 RAG와 아랍어 텍스트 정규화를 읽으세요.

청크 크기와 오버랩은 무엇을 바꾸나요?

  • 청크 크기는 임베딩하고 검색하는 조각 하나에 들어가는 토큰 수입니다.
  • 오버랩은 연속된 청크가 공유하는 토큰 수로, 경계에서 잘린 문장이 적어도 한 청크에는 온전히 들어가게 합니다.
  • Top-k는 질문마다 검색하는 청크 수입니다.

이 세 값이 함께 네 가지를 정합니다.

항목 공식(긴 문서 기준)
저장되는 청크 수 코퍼스 토큰 ÷ (크기 − 오버랩)
임베딩되는 토큰 코퍼스 토큰 × 크기 ÷ (크기 − 오버랩)
쿼리당 컨텍스트 top-k × 크기
쿼리당 LLM 입력 top-k × 크기 + 시스템 프롬프트 + 질문

앞의 두 가지는 인덱싱할 때마다 한 번씩, 그리고 청킹을 바꿀 때마다 다시 지불합니다. 마지막 항목은 질문마다 계속 지불합니다.

청크 크기에 대해 공개된 테스트는 무엇을 말하나요?

알아 둘 만한 공개 평가가 두 가지 있습니다. 서로 다른 것을 측정했기 때문입니다.

**Chroma(Smith, Troynikov, 2024년 7월)**는 토큰 단위로 검색을 측정했습니다. 관련 텍스트 중 얼마나 검색되었는지(재현율), 그리고 검색된 것 중 얼마나 관련이 있었는지입니다. 검색 청크 5개와 OpenAI의 text-embedding-3-large를 사용했습니다. 일부 행을 옮기면 다음과 같습니다.

분할기 크기(토큰) 오버랩 재현율 IoU
Recursive 800 400 85.4% 1.5%
Token 800 400 87.9% 1.4%
Recursive 400 200 88.1% 3.3%
Recursive 400 0 89.5% 3.6%
Recursive 200 0 88.1% 6.9%

IoU(intersection over union)는 검색된 텍스트 중 관련 있는 비율을 나타내므로, 낭비된 토큰의 지표로도 쓸 수 있습니다. 800/400 행은 OpenAI 파일 검색의 기본값과 같습니다. Chroma는 토큰 분할기를 가정할 때 이 설정의 재현율이 평균보다 약간 낮고 다른 지표에서는 가장 낮은 점수를 받았다고 밝혔습니다. 오버랩 없는 작은 청크는 재현율이 같거나 더 높았고, 관련 없는 텍스트는 훨씬 적었습니다.

**NVIDIA(2025년 6월)**는 5개 데이터셋에서 종단 간 답변 정확도를 측정했습니다. 15% 오버랩의 1282,048토큰 청크와 함께 페이지 단위, 섹션 단위 청킹도 시험했습니다. 페이지 단위 청킹이 평균 정확도가 가장 높았고(0.648) 편차는 가장 작았습니다. 최적의 토큰 크기는 질문에 따라 달랐습니다. 사실 확인형 데이터셋은 256512토큰, 분석형은 1,024토큰이나 페이지 전체가 유리했습니다. 양 극단인 128과 2,048은 대체로 성능이 더 낮았습니다.

두 평가가 일치하는 점이 하나 있습니다. 보편적인 최적 크기는 없으며, 오버랩이 큰 아주 큰 청크가 올바른 기본값인 경우는 드뭅니다.

오버랩은 인덱스를 얼마나 키우나요?

각 청크는 크기 − 오버랩 토큰만큼 앞으로 나아가므로, 인덱스에는 코퍼스가 크기 ÷ (크기 − 오버랩)벌 들어갑니다. 10,000토큰짜리 문서로 이루어진 2,000,000토큰 코퍼스의 경우는 다음과 같습니다.

크기 오버랩 청크 수 임베딩 토큰 증가율
200 0 10,000 2,000,000 1.00×
400 0 5,000 2,000,000 1.00×
512 77 (15%) 4,600 2,338,800 1.17×
1,024 154 (15%) 2,400 2,338,800 1.17×
800 400 (50%) 4,800 3,840,000 1.92×
400 200 (50%) 9,800 3,920,000 1.96×

짧은 문서는 각 문서의 마지막 청크가 일부만 채워지므로 조금 덜 늘어납니다. 공식은 그 극한값을 줍니다. 임베딩 토큰, 벡터 저장 공간, 재인덱싱 시간에서 15% 오버랩은 약 18%, 50% 오버랩은 약 100%의 비용을 더합니다.

오버랩은 쿼리 시점에도 비용이 듭니다. 50% 오버랩에서 같은 질문에 이웃한 청크 두 개가 검색되면 텍스트의 절반이 중복됩니다. 그 중복 토큰에도 비용을 내야 하고, 그만큼 다른 관련 구절이 top-k 밖으로 밀려납니다.

BroadNet은 임베딩을 판매하지 않으므로 이쪽 비용은 임베딩 제공업체에 지불합니다. 임베딩 비용 계산기로 계산해 보세요.

청크 크기는 LLM 요금에 어떤 영향을 주나요?

모든 질문은 top-k개의 청크와 프롬프트를 보냅니다. 한 달에 질문 10만 개, 시스템 프롬프트와 질문 600토큰, 매번 같은 300토큰 답변을 가정해 보겠습니다.

크기 × top-k 쿼리당 컨텍스트 쿼리당 입력 월간 입력
200 × 10 2,000 2,600 2억 6,000만
400 × 5 2,000 2,600 2억 6,000만
512 × 5 2,560 3,160 3억 1,600만
800 × 5 4,000 4,600 4억 6,000만
1,024 × 5 5,120 5,720 5억 7,200만
1,024 × 8 8,192 8,792 8억 7,900만

출력은 모든 행에서 월 3,000만 토큰이므로 입력만 달라집니다. 100만 토큰당 가격이 주어지면, 월간 입력 비용은 마지막 열의 백만 단위 수(예: 8억 7,900만이면 879)에 그 가격을 곱한 값입니다. 100만 입력 토큰당 $0.10 요금인 Gemma 4 VL 26B에서 1,024 × 8 설정은 입력에만 월 879 × $0.10 금액이 들고, 400 × 5는 260 × $0.10 금액입니다. 공개된 테스트에서 재현율이 더 좋다는 결과도 없는 설정에 3.4배를 쓰는 셈입니다. Qwen3.8 27B(입력 $0.175)나 GLM 5.3(입력 $0.78)에서는 비율은 같고 총액은 더 커집니다.

모델 가격보다 이 비용을 더 크게 움직이는 수단이 두 가지 있습니다.

  1. 크기를 늘리면 k를 줄이세요. 200 × 10과 400 × 5는 같은 컨텍스트를 보냅니다. 크기를 테스트하는 동안 쿼리당 컨텍스트를 대략 고정해야 컨텍스트 예산이 아니라 검색 품질을 비교할 수 있습니다.
  2. 고정된 부분을 캐시하세요. 시스템 프롬프트를 맨 앞에 두고 바이트 단위로 동일하게 유지하면, 캐시 단가가 있는 모델에서는 캐시된 입력 단가로 과금될 수 있습니다. 검색된 청크는 질문마다 바뀌므로 캐시되는 경우가 드뭅니다.

컨텍스트 한도도 중요합니다. Gemma 4 VL 26B는 요청당 32,768토큰을 받으므로 위의 어느 행이든 충분합니다. k × 크기를 수만 토큰까지 늘린다면 RAG에서 롱 컨텍스트 쪽으로 넘어간 것이며, 그 비교에는 별도의 계산이 필요합니다. RAG 청킹 계산기로 직접 가진 코퍼스, 청크 크기, 오버랩, top-k에 이 공식을 적용해 볼 수 있습니다.

단어를 자르지 않고 토큰 단위로 청킹하려면 어떻게 하나요?

크기는 토큰으로 세되, 자르는 위치는 구조를 따르세요. LangChain의 RecursiveCharacterTextSplitter는 length_function으로 크기를 재며, 기본값은 문자 길이입니다. 그러면 “크기 512”는 512자, 즉 영어로 대략 100~150토큰이 되고, 아랍어에서는 또 다른 수가 됩니다. 아랍어의 단어당 토큰 수를 참고하세요. 임베딩 한도와 LLM 요금은 토큰 단위입니다.

아래 청커는 토큰 예산까지 문단을 통째로 채워 넣고, 끝부분 문단을 오버랩으로 다음 청크에 넘깁니다. 문단 경계에서 자르므로, 원시 토큰 윈도우에서 생길 수 있는 단어나 멀티바이트 아랍어 문자의 분리를 피할 수 있습니다.

import tiktoken

enc = tiktoken.get_encoding("o200k_base")    # an estimate: count with your embedder's tokenizer
count = lambda s: len(enc.encode(s))

def chunk(text, size=512, overlap=64):
    """Pack whole paragraphs up to `size` tokens; repeat trailing paragraphs up to `overlap` tokens."""
    chunks, cur, cur_len = [], [], 0
    for para in (p.strip() for p in text.split("\n\n")):
        if not para:
            continue
        n = count(para)
        if cur and cur_len + n > size:
            chunks.append("\n\n".join(cur))
            tail, t = [], 0
            for q in reversed(cur):                  # carry the end of this chunk forward
                if t + count(q) > overlap:
                    break
                tail.insert(0, q); t += count(q)
            cur, cur_len = tail, t
        cur.append(para); cur_len += n              # a paragraph over `size` stays whole
    if cur:
        chunks.append("\n\n".join(cur))
    return chunks

def plan(corpus_tokens, size, overlap, k, queries_per_month, prompt_tokens=600):
    index_tokens = corpus_tokens * size / (size - overlap)   # long-document limit
    per_query = k * size + prompt_tokens
    return {"chunks": round(index_tokens / size), "tokens_to_embed": round(index_tokens),
            "input_per_query": per_query, "input_per_month": per_query * queries_per_month}

print(plan(2_000_000, 512, 64, 5, 100_000))
# {'chunks': 4464, 'tokens_to_embed': 2285714, 'input_per_query': 3160, 'input_per_month': 316000000}

여기서 오버랩은 “최대”입니다. 오버랩 예산보다 긴 문단은 반복되지 않습니다. size보다 긴 문단 하나는 통째로 유지되므로, 문서에 그런 문단이 있다면 먼저 문장 단위로 나누세요. 각 청크 앞에 문서 제목과 섹션 제목을 붙이면, 검색된 청크만 봐도 무엇에 관한 내용인지 알 수 있습니다. 청크당 토큰이 몇 개 늘어나지만, 오버랩보다 도움이 되는 경우가 많습니다.

내 데이터에 맞는 값은 어떻게 고르나요?

  1. 평가 세트를 만드세요. 실제 질문 50~200개와, 각 질문에 답하는 구절을 준비합니다. 채점 방법은 LLM 평가 가이드에서 다룹니다.
  2. 컨텍스트 예산을 고정하세요. 크기를 비교하는 동안 k × 크기를 2,000토큰처럼 한 값 근처로 유지합니다.
  3. 크기 세 가지와 오버랩 두 가지를 시도하세요. 예를 들어 256, 512, 1,024토큰을 각각 오버랩 0과 15%로 시험합니다. k에서 올바른 구절의 재현율을 측정하세요.
  4. 구조를 시도하세요. 문서에 페이지나 번호 붙은 섹션이 있다면, 페이지 단위나 섹션 단위 청크를 토큰 크기와 비교하세요. NVIDIA는 페이지 단위가 가장 일관적이라는 결과를 얻었습니다.
  5. 최고 재현율과 1~2%포인트 차이 이내인 설정 중 가장 저렴한 것을 고르고, 월간 비용 산정 방법으로 쿼리 양에 맞춰 비용을 계산하세요.

전체 코퍼스를 임베딩하기 전에 샘플로 이 과정을 거치세요. 나중에 청킹을 바꾸면 전부 다시 임베딩해야 합니다.

BroadNet Inference는 어디에 적합한가요?

BroadNet Inference는 RAG의 검색이 아니라 답변 단계를 담당합니다. 임베딩이나 벡터 저장소는 판매하지 않으므로, 원하는 임베딩 제공업체와 벡터 데이터베이스를 함께 쓰세요. 답변용으로는 Gemma 4 VL 26B가 저비용 선택지이며 $5 금액의 초기 크레딧으로 실행할 수 있습니다. Qwen3.8 27B(262,144토큰 컨텍스트)와 GLM 5.3(1,048,576)은 충전 후 더 큰 top-k나 긴 문서에 적합합니다. 프롬프트와 검색된 구절은 요청 후에 보관되지 않습니다. 코퍼스가 작고 안정적이어서 컨텍스트 윈도우에 들어간다면, 롱 컨텍스트가 청킹보다 아예 나을 수도 있습니다.

자주 묻는 질문

RAG에 적당한 청크 크기는 얼마인가요?

256~512토큰 정도로 시작해서 테스트하세요. Chroma의 평가에서는 오버랩 없는 200~400토큰이 좋은 성능을 보였습니다. NVIDIA는 사실 확인형 질문에는 256~512토큰이 맞고, 분석형 질문에는 1,024토큰이나 페이지 단위 청크가 더 낫다는 결과를 얻었습니다.

청크 오버랩은 얼마로 설정해야 하나요?

대부분의 기본값보다 적게 두세요. NVIDIA는 한 데이터셋에서 시험한 10%, 15%, 20% 중 15%가 가장 좋았다고 밝혔습니다. Chroma는 오버랩 없는 설정이 같거나 더 좋은 점수를 받는 경우가 많다는 결과를 얻었습니다. 오버랩이 늘수록 임베딩하고 저장하고 보내는 토큰이 늘어납니다.

청크 크기가 크면 비용이 더 드나요?

오버랩이 없다면 임베딩 비용은 같습니다. 코퍼스의 토큰 수가 같기 때문입니다. 대신 쿼리당 비용은 늘어납니다. 검색된 청크 하나하나가 길어져 top-k × 청크 크기가 커지기 때문입니다. 크기를 늘리면 k를 줄이세요.

청크 크기는 토큰으로 재나요, 문자로 재나요?

분할기에 따라 다릅니다. LangChain의 RecursiveCharacterTextSplitter는 length_function으로 재며, 기본값은 문자 길이입니다. 임베딩 한도와 LLM 요금은 토큰 단위이므로 토큰 계산 함수를 넘기세요.

청크 크기를 바꾸면 다시 임베딩해야 하나요?

네. 경계가 바뀌면 청크가 새로 만들어지고, 청크마다 새 벡터가 필요합니다. 재임베딩은 인덱스 전체 비용이 다시 들므로, 전체 코퍼스를 임베딩하기 전에 샘플로 청킹 설정을 확정하세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기