BroadRouter

Размер чанка и перекрытие в RAG: как они влияют на поиск и цену

Команда BroadNet Inference · 7 мин чтения · Опубликовано · Обновлено

Начните с чанков примерно по 256–512 токенов, перекрытия 0–15% и top-k, подобранного на ваших запросах. Крупные чанки увеличивают число токенов, которое каждый запрос отправляет в LLM. Перекрытие умножает число токенов, которые вы эмбеддите и храните, на размер ÷ (размер − перекрытие), так что перекрытие 50% удваивает индекс. В опубликованных тестах небольшие чанки или чанки без перекрытия часто давали такую же или лучшую полноту.

Размер чанка и перекрытие — два числа, которые каждый RAG-конвейер задаёт в самом начале и редко пересматривает. Они определяют, сколько векторов вы храните, сколько токенов эмбеддите, сколько токенов каждый вопрос отправляет в LLM и найдётся ли нужный фрагмент вообще. В этой статье — что показали опубликованные тесты, а затем расчёт токенов, чтобы вы увидели цену каждой настройки до того, как что-то эмбеддить.

Если вы ещё решаете, нужен ли RAG вообще, начните со статьи длинный контекст или RAG. Для документов на арабском читайте вместе с этой статьёй RAG на арабском и нормализацию арабского текста.

На что влияют размер чанка и перекрытие?

  • Размер чанка — сколько токенов входит в каждый фрагмент, который вы эмбеддите и находите.
  • Перекрытие — сколько токенов у соседних чанков общие, чтобы предложение, разрезанное на границе, целиком попало хотя бы в один чанк.
  • Top-k — сколько чанков вы находите на один вопрос.

Вместе они задают четыре величины:

Величина Формула (длинные документы)
Хранимые чанки токены корпуса ÷ (размер − перекрытие)
Эмбеддируемые токены токены корпуса × размер ÷ (размер − перекрытие)
Контекст на запрос top-k × размер
Вход LLM на запрос top-k × размер + системный промпт + вопрос

Первые две оплачиваются один раз за индексацию и снова при каждом перечанкинге. Последняя оплачивается на каждом вопросе, всегда.

Что говорят опубликованные тесты о размере чанка?

Стоит знать две публичные оценки, потому что они измеряли разное.

Chroma (Smith и Troynikov, июль 2024) измеряла поиск на уровне токенов: какую долю релевантного текста удалось найти (полнота) и какая доля найденного была релевантной. Использовались пять найденных чанков и text-embedding-3-large от OpenAI. Выбранные строки:

Сплиттер Размер (токены) Перекрытие Полнота IoU
Recursive 800 400 85,4% 1,5%
Token 800 400 87,9% 1,4%
Recursive 400 200 88,1% 3,3%
Recursive 400 0 89,5% 3,6%
Recursive 200 0 88,1% 6,9%

IoU (intersection over union, пересечение над объединением) показывает, какая доля найденного текста релевантна, так что это заодно и мера впустую потраченных токенов. Строки 800/400 соответствуют настройке по умолчанию в file search от OpenAI; если считать, что там токенный сплиттер, Chroma нашла, что эта настройка дала полноту чуть ниже средней и самые низкие оценки по остальным метрикам. Чанки поменьше без перекрытия находили столько же или больше и несли гораздо меньше нерелевантного текста.

NVIDIA (июнь 2025) измеряла точность итоговых ответов на пяти датасетах с токенными чанками от 128 до 2048 при перекрытии 15%, а также с чанкингом по страницам и по разделам. У чанкинга по страницам была самая высокая средняя точность (0,648) и самый низкий разброс. Лучший токенный размер зависел от вопросов: для фактологических наборов лучше подходили 256–512 токенов, для аналитических — 1024 токена или целые страницы. Обе крайности, 128 и 2048, обычно работали хуже.

В одном оценки сходятся: универсального лучшего размера нет, а очень крупные чанки с большим перекрытием редко бывают правильной настройкой по умолчанию.

Насколько перекрытие раздувает индекс?

Каждый чанк сдвигается на размер − перекрытие токенов, так что индекс содержит размер ÷ (размер − перекрытие) копий корпуса. Для корпуса в 2 000 000 токенов из документов по 10 000 токенов:

Размер Перекрытие Чанки Эмбеддируемые токены Раздувание
200 0 10 000 2 000 000 1,00×
400 0 5000 2 000 000 1,00×
512 77 (15%) 4600 2 338 800 1,17×
1024 154 (15%) 2400 2 338 800 1,17×
800 400 (50%) 4800 3 840 000 1,92×
400 200 (50%) 9800 3 920 000 1,96×

Короткие документы раздуваются чуть меньше, потому что последний чанк каждого из них неполный. Формула даёт предел: перекрытие 15% стоит примерно на 18% больше, а 50% — примерно на 100% больше по эмбеддируемым токенам, хранению векторов и времени переиндексации.

Перекрытие стоит денег и во время запроса. При перекрытии 50% два соседних чанка, найденные по одному вопросу, повторяют половину текста. Вы платите за эти дублирующиеся токены, и они вытесняют из top-k другие релевантные фрагменты.

BroadNet не продаёт эмбеддинги, так что эта часть счёта идёт вашему провайдеру эмбеддингов. Посчитайте её в калькуляторе стоимости эмбеддингов.

Как размер чанка влияет на счёт за LLM?

Каждый вопрос отправляет top-k чанков и промпт. Возьмём 100 000 вопросов в месяц, 600 токенов на системный промпт и вопрос и одинаковый ответ на 300 токенов:

Размер × top-k Контекст на запрос Вход на запрос Вход в месяц
200 × 10 2000 2600 260 млн
400 × 5 2000 2600 260 млн
512 × 5 2560 3160 316 млн
800 × 5 4000 4600 460 млн
1024 × 5 5120 5720 572 млн
1024 × 8 8192 8792 879 млн

Выход во всех строках — 30 млн токенов в месяц, так что меняется только вход. При цене за 1 млн токенов месячная стоимость входа — это число миллионов из последнего столбца, умноженное на эту цену. На Gemma 4 VL 26B по $0.10 за 1 млн входных токенов конфигурация 1024 × 8 стоит 879 × $0.10 в месяц за вход против 260 × $0.10 для 400 × 5. Это в 3,4 раза больше — за настройку, которая в опубликованных тестах не показывает лучшей полноты. На Qwen3.8 27B (вход $0.175) или GLM 5.3 (вход $0.78) соотношение то же, а итоговые суммы больше.

Два рычага сдвигают это сильнее, чем цена модели:

  1. Увеличивая размер, уменьшайте k. 200 × 10 и 400 × 5 отправляют одинаковый контекст. Пока тестируете размеры, держите контекст на запрос примерно постоянным, чтобы сравнивать качество поиска, а не бюджет контекста.
  2. Кэшируйте неизменную часть. Ставьте системный промпт первым и держите его побайтово идентичным, чтобы на моделях, где есть ставка входа из кэша, он тарифицировался по ней. Найденные чанки меняются от вопроса к вопросу и кэшируются редко.

Лимиты контекста тоже важны. Gemma 4 VL 26B принимает 32 768 токенов на запрос — с избытком для любой строки выше. Если вы доводите k × размер до десятков тысяч токенов, вы уже движетесь от RAG к длинному контексту, а у этого сравнения своя арифметика. Калькулятор чанкинга для RAG считает эти формулы для вашего корпуса, размера чанка, перекрытия и top-k.

Как резать по токенам и не разрывать слова?

Считайте в токенах, а режьте по структуре. RecursiveCharacterTextSplitter в LangChain измеряет размер через length_function, а по умолчанию это длина в символах. Тогда «размер» 512 — это 512 символов, примерно 100–150 токенов английского текста и снова другое число для арабского; см. токены на слово в арабском. Лимиты эмбеддингов и счета за LLM — в токенах.

Этот чанкер упаковывает целые абзацы до бюджета токенов и переносит последние абзацы вперёд как перекрытие. Резка по границам абзацев не разрывает слова и многобайтовые арабские символы, что могут сделать «сырые» окна токенов.

import tiktoken

enc = tiktoken.get_encoding("o200k_base")    # an estimate: count with your embedder's tokenizer
count = lambda s: len(enc.encode(s))

def chunk(text, size=512, overlap=64):
    """Pack whole paragraphs up to `size` tokens; repeat trailing paragraphs up to `overlap` tokens."""
    chunks, cur, cur_len = [], [], 0
    for para in (p.strip() for p in text.split("\n\n")):
        if not para:
            continue
        n = count(para)
        if cur and cur_len + n > size:
            chunks.append("\n\n".join(cur))
            tail, t = [], 0
            for q in reversed(cur):                  # carry the end of this chunk forward
                if t + count(q) > overlap:
                    break
                tail.insert(0, q); t += count(q)
            cur, cur_len = tail, t
        cur.append(para); cur_len += n              # a paragraph over `size` stays whole
    if cur:
        chunks.append("\n\n".join(cur))
    return chunks

def plan(corpus_tokens, size, overlap, k, queries_per_month, prompt_tokens=600):
    index_tokens = corpus_tokens * size / (size - overlap)   # long-document limit
    per_query = k * size + prompt_tokens
    return {"chunks": round(index_tokens / size), "tokens_to_embed": round(index_tokens),
            "input_per_query": per_query, "input_per_month": per_query * queries_per_month}

print(plan(2_000_000, 512, 64, 5, 100_000))
# {'chunks': 4464, 'tokens_to_embed': 2285714, 'input_per_query': 3160, 'input_per_month': 316000000}

Перекрытие здесь — «не больше чем»: абзац длиннее бюджета перекрытия не повторяется. Отдельный абзац длиннее size остаётся целым; если в ваших документах такие есть, сначала разбейте их по предложениям. Добавляйте в начало каждого чанка название документа и заголовок раздела, чтобы найденный чанк сам говорил, о чём он. Это добавляет несколько токенов на чанк и часто помогает больше, чем перекрытие.

Как подобрать числа под свои данные?

  1. Соберите набор для оценки. 50–200 реальных вопросов, к каждому — фрагмент, который на него отвечает. Как считать оценки, описано в руководстве по оценке LLM.
  2. Зафиксируйте бюджет контекста. Держите k × размер около одного значения, например 2000 токенов, пока сравниваете размеры.
  3. Попробуйте три размера и два перекрытия. Например, 256, 512 и 1024 токена, каждый с перекрытием 0 и 15%. Измеряйте, находится ли нужный фрагмент в top-k.
  4. Попробуйте структуру. Если в документах есть страницы или нумерованные разделы, сравните чанки по страницам или разделам с токенными размерами. У NVIDIA чанкинг по страницам оказался самым стабильным.
  5. Выберите самую дешёвую настройку в пределах одного-двух пунктов от лучшей полноты, а затем посчитайте её стоимость при вашем объёме запросов методом оценки месячных расходов.

Делайте это на выборке, прежде чем эмбеддить весь корпус. Сменить чанкинг потом — значит заново эмбеддить всё.

Место BroadNet Inference

BroadNet Inference обслуживает в RAG шаг ответа, а не поиск. Эмбеддингов и векторного хранилища BroadNet не продаёт, так что сочетайте его с провайдером эмбеддингов и векторной базой данных на ваш выбор. Для ответа Gemma 4 VL 26B — недорогой вариант, который работает на стартовом гранте $5. Qwen3.8 27B (контекст 262 144 токена) и GLM 5.3 (1 048 576) подходят для большего top-k или длинных документов — после пополнения баланса. Промпты и найденные фрагменты не хранятся после запроса. Если ваш корпус достаточно мал и стабилен, чтобы поместиться в контекстное окно, длинный контекст может оказаться лучше чанкинга вообще.

Вопросы и ответы

Какой размер чанка выбрать для RAG?

Начните примерно с 256–512 токенов и тестируйте. В оценке Chroma хорошо показали себя 200–400 токенов без перекрытия. NVIDIA выяснила, что 256–512 токенов подходят для фактологических вопросов, а аналитические лучше работают с чанками по 1024 токена или размером в страницу.

Какое перекрытие чанков ставить?

Меньше, чем в большинстве настроек по умолчанию. NVIDIA на одном датасете из вариантов 10%, 15% и 20% лучшим нашла 15%. Chroma обнаружила, что варианты без перекрытия часто давали такой же или лучший результат. Каждый процент перекрытия добавляет токены, которые нужно эмбеддить, хранить и отправлять.

Крупный чанк обходится дороже?

На эмбеддинги — нет, если нет перекрытия: в корпусе столько же токенов. Дороже обходится каждый запрос, потому что каждый найденный чанк длиннее и top-k × размер чанка растёт. Увеличивая размер, уменьшайте k.

Размер чанка считается в токенах или в символах?

Зависит от сплиттера. RecursiveCharacterTextSplitter в LangChain измеряет через length_function, а по умолчанию это длина в символах. Лимиты эмбеддингов и счета за LLM — в токенах, поэтому передайте счётчик токенов.

Нужно ли заново считать эмбеддинги при смене размера чанка?

Да. Новые границы дают новые чанки, и каждому нужен новый вектор. Повторный расчёт эмбеддингов стоит столько же, сколько весь индекс, поэтому определитесь с чанкингом на выборке, прежде чем эмбеддить весь корпус.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity