Размер чанка и перекрытие — два числа, которые каждый RAG-конвейер задаёт в самом начале и редко пересматривает. Они определяют, сколько векторов вы храните, сколько токенов эмбеддите, сколько токенов каждый вопрос отправляет в LLM и найдётся ли нужный фрагмент вообще. В этой статье — что показали опубликованные тесты, а затем расчёт токенов, чтобы вы увидели цену каждой настройки до того, как что-то эмбеддить.
Если вы ещё решаете, нужен ли RAG вообще, начните со статьи длинный контекст или RAG. Для документов на арабском читайте вместе с этой статьёй RAG на арабском и нормализацию арабского текста.
На что влияют размер чанка и перекрытие?
- Размер чанка — сколько токенов входит в каждый фрагмент, который вы эмбеддите и находите.
- Перекрытие — сколько токенов у соседних чанков общие, чтобы предложение, разрезанное на границе, целиком попало хотя бы в один чанк.
- Top-k — сколько чанков вы находите на один вопрос.
Вместе они задают четыре величины:
| Величина | Формула (длинные документы) |
|---|---|
| Хранимые чанки | токены корпуса ÷ (размер − перекрытие) |
| Эмбеддируемые токены | токены корпуса × размер ÷ (размер − перекрытие) |
| Контекст на запрос | top-k × размер |
| Вход LLM на запрос | top-k × размер + системный промпт + вопрос |
Первые две оплачиваются один раз за индексацию и снова при каждом перечанкинге. Последняя оплачивается на каждом вопросе, всегда.
Что говорят опубликованные тесты о размере чанка?
Стоит знать две публичные оценки, потому что они измеряли разное.
Chroma (Smith и Troynikov, июль 2024) измеряла поиск на уровне токенов: какую долю релевантного текста удалось найти (полнота) и какая доля найденного была релевантной. Использовались пять найденных чанков и text-embedding-3-large от OpenAI. Выбранные строки:
| Сплиттер | Размер (токены) | Перекрытие | Полнота | IoU |
|---|---|---|---|---|
| Recursive | 800 | 400 | 85,4% | 1,5% |
| Token | 800 | 400 | 87,9% | 1,4% |
| Recursive | 400 | 200 | 88,1% | 3,3% |
| Recursive | 400 | 0 | 89,5% | 3,6% |
| Recursive | 200 | 0 | 88,1% | 6,9% |
IoU (intersection over union, пересечение над объединением) показывает, какая доля найденного текста релевантна, так что это заодно и мера впустую потраченных токенов. Строки 800/400 соответствуют настройке по умолчанию в file search от OpenAI; если считать, что там токенный сплиттер, Chroma нашла, что эта настройка дала полноту чуть ниже средней и самые низкие оценки по остальным метрикам. Чанки поменьше без перекрытия находили столько же или больше и несли гораздо меньше нерелевантного текста.
NVIDIA (июнь 2025) измеряла точность итоговых ответов на пяти датасетах с токенными чанками от 128 до 2048 при перекрытии 15%, а также с чанкингом по страницам и по разделам. У чанкинга по страницам была самая высокая средняя точность (0,648) и самый низкий разброс. Лучший токенный размер зависел от вопросов: для фактологических наборов лучше подходили 256–512 токенов, для аналитических — 1024 токена или целые страницы. Обе крайности, 128 и 2048, обычно работали хуже.
В одном оценки сходятся: универсального лучшего размера нет, а очень крупные чанки с большим перекрытием редко бывают правильной настройкой по умолчанию.
Насколько перекрытие раздувает индекс?
Каждый чанк сдвигается на размер − перекрытие токенов, так что индекс содержит размер ÷ (размер − перекрытие) копий корпуса. Для корпуса в 2 000 000 токенов из документов по 10 000 токенов:
| Размер | Перекрытие | Чанки | Эмбеддируемые токены | Раздувание |
|---|---|---|---|---|
| 200 | 0 | 10 000 | 2 000 000 | 1,00× |
| 400 | 0 | 5000 | 2 000 000 | 1,00× |
| 512 | 77 (15%) | 4600 | 2 338 800 | 1,17× |
| 1024 | 154 (15%) | 2400 | 2 338 800 | 1,17× |
| 800 | 400 (50%) | 4800 | 3 840 000 | 1,92× |
| 400 | 200 (50%) | 9800 | 3 920 000 | 1,96× |
Короткие документы раздуваются чуть меньше, потому что последний чанк каждого из них неполный. Формула даёт предел: перекрытие 15% стоит примерно на 18% больше, а 50% — примерно на 100% больше по эмбеддируемым токенам, хранению векторов и времени переиндексации.
Перекрытие стоит денег и во время запроса. При перекрытии 50% два соседних чанка, найденные по одному вопросу, повторяют половину текста. Вы платите за эти дублирующиеся токены, и они вытесняют из top-k другие релевантные фрагменты.
BroadNet не продаёт эмбеддинги, так что эта часть счёта идёт вашему провайдеру эмбеддингов. Посчитайте её в калькуляторе стоимости эмбеддингов.
Как размер чанка влияет на счёт за LLM?
Каждый вопрос отправляет top-k чанков и промпт. Возьмём 100 000 вопросов в месяц, 600 токенов на системный промпт и вопрос и одинаковый ответ на 300 токенов:
| Размер × top-k | Контекст на запрос | Вход на запрос | Вход в месяц |
|---|---|---|---|
| 200 × 10 | 2000 | 2600 | 260 млн |
| 400 × 5 | 2000 | 2600 | 260 млн |
| 512 × 5 | 2560 | 3160 | 316 млн |
| 800 × 5 | 4000 | 4600 | 460 млн |
| 1024 × 5 | 5120 | 5720 | 572 млн |
| 1024 × 8 | 8192 | 8792 | 879 млн |
Выход во всех строках — 30 млн токенов в месяц, так что меняется только вход. При цене за 1 млн токенов месячная стоимость входа — это число миллионов из последнего столбца, умноженное на эту цену. На Gemma 4 VL 26B по $0.10 за 1 млн входных токенов конфигурация 1024 × 8 стоит 879 × $0.10 в месяц за вход против 260 × $0.10 для 400 × 5. Это в 3,4 раза больше — за настройку, которая в опубликованных тестах не показывает лучшей полноты. На Qwen3.8 27B (вход $0.175) или GLM 5.3 (вход $0.78) соотношение то же, а итоговые суммы больше.
Два рычага сдвигают это сильнее, чем цена модели:
- Увеличивая размер, уменьшайте k. 200 × 10 и 400 × 5 отправляют одинаковый контекст. Пока тестируете размеры, держите контекст на запрос примерно постоянным, чтобы сравнивать качество поиска, а не бюджет контекста.
- Кэшируйте неизменную часть. Ставьте системный промпт первым и держите его побайтово идентичным, чтобы на моделях, где есть ставка входа из кэша, он тарифицировался по ней. Найденные чанки меняются от вопроса к вопросу и кэшируются редко.
Лимиты контекста тоже важны. Gemma 4 VL 26B принимает 32 768 токенов на запрос — с избытком для любой строки выше. Если вы доводите k × размер до десятков тысяч токенов, вы уже движетесь от RAG к длинному контексту, а у этого сравнения своя арифметика. Калькулятор чанкинга для RAG считает эти формулы для вашего корпуса, размера чанка, перекрытия и top-k.
Как резать по токенам и не разрывать слова?
Считайте в токенах, а режьте по структуре. RecursiveCharacterTextSplitter в LangChain измеряет размер через length_function, а по умолчанию это длина в символах. Тогда «размер» 512 — это 512 символов, примерно 100–150 токенов английского текста и снова другое число для арабского; см. токены на слово в арабском. Лимиты эмбеддингов и счета за LLM — в токенах.
Этот чанкер упаковывает целые абзацы до бюджета токенов и переносит последние абзацы вперёд как перекрытие. Резка по границам абзацев не разрывает слова и многобайтовые арабские символы, что могут сделать «сырые» окна токенов.
import tiktoken
enc = tiktoken.get_encoding("o200k_base") # an estimate: count with your embedder's tokenizer
count = lambda s: len(enc.encode(s))
def chunk(text, size=512, overlap=64):
"""Pack whole paragraphs up to `size` tokens; repeat trailing paragraphs up to `overlap` tokens."""
chunks, cur, cur_len = [], [], 0
for para in (p.strip() for p in text.split("\n\n")):
if not para:
continue
n = count(para)
if cur and cur_len + n > size:
chunks.append("\n\n".join(cur))
tail, t = [], 0
for q in reversed(cur): # carry the end of this chunk forward
if t + count(q) > overlap:
break
tail.insert(0, q); t += count(q)
cur, cur_len = tail, t
cur.append(para); cur_len += n # a paragraph over `size` stays whole
if cur:
chunks.append("\n\n".join(cur))
return chunks
def plan(corpus_tokens, size, overlap, k, queries_per_month, prompt_tokens=600):
index_tokens = corpus_tokens * size / (size - overlap) # long-document limit
per_query = k * size + prompt_tokens
return {"chunks": round(index_tokens / size), "tokens_to_embed": round(index_tokens),
"input_per_query": per_query, "input_per_month": per_query * queries_per_month}
print(plan(2_000_000, 512, 64, 5, 100_000))
# {'chunks': 4464, 'tokens_to_embed': 2285714, 'input_per_query': 3160, 'input_per_month': 316000000}
Перекрытие здесь — «не больше чем»: абзац длиннее бюджета перекрытия не повторяется. Отдельный абзац длиннее size остаётся целым; если в ваших документах такие есть, сначала разбейте их по предложениям. Добавляйте в начало каждого чанка название документа и заголовок раздела, чтобы найденный чанк сам говорил, о чём он. Это добавляет несколько токенов на чанк и часто помогает больше, чем перекрытие.
Как подобрать числа под свои данные?
- Соберите набор для оценки. 50–200 реальных вопросов, к каждому — фрагмент, который на него отвечает. Как считать оценки, описано в руководстве по оценке LLM.
- Зафиксируйте бюджет контекста. Держите k × размер около одного значения, например 2000 токенов, пока сравниваете размеры.
- Попробуйте три размера и два перекрытия. Например, 256, 512 и 1024 токена, каждый с перекрытием 0 и 15%. Измеряйте, находится ли нужный фрагмент в top-k.
- Попробуйте структуру. Если в документах есть страницы или нумерованные разделы, сравните чанки по страницам или разделам с токенными размерами. У NVIDIA чанкинг по страницам оказался самым стабильным.
- Выберите самую дешёвую настройку в пределах одного-двух пунктов от лучшей полноты, а затем посчитайте её стоимость при вашем объёме запросов методом оценки месячных расходов.
Делайте это на выборке, прежде чем эмбеддить весь корпус. Сменить чанкинг потом — значит заново эмбеддить всё.
Место BroadNet Inference
BroadNet Inference обслуживает в RAG шаг ответа, а не поиск. Эмбеддингов и векторного хранилища BroadNet не продаёт, так что сочетайте его с провайдером эмбеддингов и векторной базой данных на ваш выбор. Для ответа Gemma 4 VL 26B — недорогой вариант, который работает на стартовом гранте $5. Qwen3.8 27B (контекст 262 144 токена) и GLM 5.3 (1 048 576) подходят для большего top-k или длинных документов — после пополнения баланса. Промпты и найденные фрагменты не хранятся после запроса. Если ваш корпус достаточно мал и стабилен, чтобы поместиться в контекстное окно, длинный контекст может оказаться лучше чанкинга вообще.
