حجم المقطع والتداخل رقمان يضبطهما كل مسار RAG مبكرًا ونادرًا ما يعود إليهما. ومع ذلك يحدّدان عدد المتجهات التي تخزّنها، وعدد الرموز التي تضمّنها، وعدد الرموز التي يرسلها كل سؤال إلى النموذج، وهل يُعثر على المقطع الصحيح أصلًا. يعرض هذا المقال ما وجدته الاختبارات المنشورة، ثم يمرّ على حساب الرموز لترى تكلفة كل إعداد قبل أن تضمّن أي شيء.
إن كنت لا تزال تقرّر هل تستخدم RAG أصلًا، فابدأ بمقال السياق الطويل مقابل RAG. وللمستندات العربية، اقرأ مقالَي RAG بالعربية وتطبيع النص العربي مع هذا المقال.
ماذا يغيّر حجم المقطع والتداخل؟
- حجم المقطع هو عدد الرموز في كل قطعة تضمّنها وتسترجعها.
- التداخل هو عدد الرموز المشتركة بين المقاطع المتتالية، حتى تظهر الجملة المقطوعة عند الحد كاملةً في مقطع واحد على الأقل.
- top-k هو عدد المقاطع التي تسترجعها لكل سؤال.
ومعًا يحدّدون أربعة أشياء:
| الكمية | المعادلة (للمستندات الطويلة) |
|---|---|
| المقاطع المخزّنة | رموز المجموعة ÷ (الحجم − التداخل) |
| الرموز المضمَّنة | رموز المجموعة × الحجم ÷ (الحجم − التداخل) |
| السياق لكل استعلام | top-k × الحجم |
| إدخال النموذج لكل استعلام | top-k × الحجم + أمر النظام + السؤال |
الأوليان تُدفعان مرة في كل عملية فهرسة، ومجددًا كلما أعدت التقطيع. أما الأخيرة فتُدفع مع كل سؤال، إلى الأبد.
ماذا تقول الاختبارات المنشورة عن حجم المقطع؟
هناك تقييمان عامّان يستحقان المعرفة، لأنهما قاسا أشياء مختلفة.
Chroma (Smith وTroynikov، يوليو 2024) قاست الاسترجاع على مستوى الرموز: كم من النص ذي الصلة استُرجع (الاستدعاء أو recall)، وكم مما استُرجع كان ذا صلة. واستخدمت خمسة مقاطع مسترجعة ونموذج text-embedding-3-large من OpenAI. صفوف مختارة:
| أداة التقطيع | الحجم (رموز) | التداخل | Recall | IoU |
|---|---|---|---|---|
| Recursive | 800 | 400 | 85.4% | 1.5% |
| Token | 800 | 400 | 87.9% | 1.4% |
| Recursive | 400 | 200 | 88.1% | 3.3% |
| Recursive | 400 | 0 | 89.5% | 3.6% |
| Recursive | 200 | 0 | 88.1% | 6.9% |
يقيس IoU (التقاطع على الاتحاد) نسبة النص المسترجَع ذي الصلة، فهو أيضًا مقياس للرموز المهدرة. وصفّا 800/400 يطابقان الإعداد الافتراضي للبحث في الملفات لدى OpenAI؛ وبافتراض أداة تقطيع بالرموز، وجدت Chroma أن هذا الإعداد أعطى استدعاءً أقل قليلًا من المتوسط وأدنى الدرجات في المقاييس الأخرى. أما المقاطع الأصغر بلا تداخل فاسترجعت القدر نفسه أو أكثر، وحملت نصًا غير ذي صلة أقل بكثير.
NVIDIA (يونيو 2025) قاست دقة الإجابة من البداية إلى النهاية على خمس مجموعات بيانات، بمقاطع رموز من 128 إلى 2,048 بتداخل 15%، إضافة إلى التقطيع بمستوى الصفحة والقسم. وحقق التقطيع بمستوى الصفحة أعلى دقة متوسطة (0.648) وأقل تباين. واعتمد أفضل حجم بالرموز على نوع الأسئلة: فمجموعات أسئلة الحقائق المباشرة فضّلت 256 إلى 512 رمزًا، والتحليلية 1,024 رمزًا أو صفحات كاملة. وكان الطرفان، 128 و2,048، أسوأ عادةً.
ويتفق التقييمان على أمر واحد: لا يوجد حجم أفضل عالميًا، ونادرًا ما تكون المقاطع الكبيرة جدًا مع تداخل كثيف هي الإعداد الافتراضي الصحيح.
كم يضخّم التداخل الفهرس؟
كل مقطع يتقدم بمقدار الحجم − التداخل من الرموز، فيحتوي الفهرس على الحجم ÷ (الحجم − التداخل) نسخة من المجموعة. لمجموعة من 2,000,000 رمز مكوّنة من مستندات كل منها 10,000 رمز:
| الحجم | التداخل | المقاطع | الرموز المضمَّنة | التضخّم |
|---|---|---|---|---|
| 200 | 0 | 10,000 | 2,000,000 | 1.00× |
| 400 | 0 | 5,000 | 2,000,000 | 1.00× |
| 512 | 77 (15%) | 4,600 | 2,338,800 | 1.17× |
| 1,024 | 154 (15%) | 2,400 | 2,338,800 | 1.17× |
| 800 | 400 (50%) | 4,800 | 3,840,000 | 1.92× |
| 400 | 200 (50%) | 9,800 | 3,920,000 | 1.96× |
المستندات القصيرة تتضخم أقل قليلًا، لأن آخر مقطع في كل منها جزئي. والمعادلة تعطي الحد الأقصى: تداخل 15% يكلّف نحو 18% إضافية، وتداخل 50% نحو 100% إضافية، في رموز التضمين وتخزين المتجهات ووقت إعادة الفهرسة.
والتداخل يكلّف أيضًا وقت الاستعلام. فمع تداخل 50%، يكرّر مقطعان متجاوران مسترجعان للسؤال نفسه نصف نصّهما. وأنت تدفع ثمن هذه الرموز المكررة، وهي تدفع مقاطع أخرى ذات صلة خارج top-k.
ولا تبيع BroadNet التضمينات، فهذا الجانب من الفاتورة يذهب إلى مزوّد التضمين لديك. سعّره بـ حاسبة تكلفة التضمينات.
ماذا يفعل حجم المقطع بفاتورة النموذج؟
كل سؤال يرسل top-k من المقاطع مع الأمر. خذ 100,000 سؤال شهريًا، و600 رمز لأمر النظام والسؤال، والإجابة نفسها بطول 300 رمز في كل مرة:
| الحجم × top-k | السياق لكل استعلام | الإدخال لكل استعلام | الإدخال شهريًا |
|---|---|---|---|
| 200 × 10 | 2,000 | 2,600 | 260 مليونًا |
| 400 × 5 | 2,000 | 2,600 | 260 مليونًا |
| 512 × 5 | 2,560 | 3,160 | 316 مليونًا |
| 800 × 5 | 4,000 | 4,600 | 460 مليونًا |
| 1,024 × 5 | 5,120 | 5,720 | 572 مليونًا |
| 1,024 × 8 | 8,192 | 8,792 | 879 مليونًا |
الإخراج 30 مليون رمز شهريًا في كل صف، فالإدخال وحده يتغير. وبسعر لكل مليون رمز، تكون تكلفة الإدخال الشهرية هي الملايين في العمود الأخير مضروبة في ذلك السعر. فعلى Gemma 4 VL 26B بسعر $0.10 لكل مليون رمز إدخال، يكلّف إعداد 1,024 × 8 مبلغ 879 × $0.10 شهريًا في الإدخال، مقابل 260 × $0.10 لإعداد 400 × 5. أي 3.4 أضعاف، لإعداد لا تُظهر الاختبارات المنشورة أنه يسترجع أفضل. وعلى Qwen3.8 27B (إدخال بسعر $0.175) أو GLM 5.3 (إدخال بسعر $0.78)، تبقى النسبة نفسها والإجماليات أكبر.
وهناك رافعتان تحرّكان هذا الرقم أكثر مما يحرّكه سعر النموذج:
- خفّض k حين ترفع الحجم. فإعدادا 200 × 10 و400 × 5 يرسلان السياق نفسه. أبقِ السياق لكل استعلام ثابتًا تقريبًا أثناء اختبار الأحجام، لتقارن جودة الاسترجاع لا ميزانية السياق.
- خزّن الجزء الثابت مؤقتًا. ضع أمر النظام أولًا وأبقِه متطابقًا بايتًا ببايت، ليُحتسب بسعر الإدخال المخزّن مؤقتًا على النماذج التي لها هذا السعر. أما المقاطع المسترجعة فتتغير مع كل سؤال ونادرًا ما تُخزَّن.
وحدود السياق مهمة أيضًا. يقبل Gemma 4 VL 26B حتى 32,768 رمزًا في الطلب، وهذا يكفي أي صف أعلاه. وإن دفعت k × الحجم نحو عشرات الآلاف من الرموز، فقد انتقلت من RAG نحو السياق الطويل، ولتلك المقارنة حسابها الخاص. وحاسبة تقطيع RAG تطبّق هذه المعادلات على مجموعتك وحجم مقطعك وتداخلك وقيمة top-k لديك.
كيف تقطّع بالرموز دون قطع الكلمات؟
احسب بالرموز، لكن اقطع عند البنية. فأداة RecursiveCharacterTextSplitter في LangChain تقيس الحجم بدالة length_function، وهي طول الأحرف افتراضيًا. فيصبح «الحجم» 512 مساويًا 512 حرفًا، أي نحو 100 إلى 150 رمزًا من الإنجليزية، ورقمًا مختلفًا مرة أخرى للعربية؛ راجع عدد الرموز لكل كلمة في العربية. أما حدود التضمين وفواتير النموذج فبالرموز.
أداة التقطيع هذه تجمع فقرات كاملة حتى ميزانية من الرموز، وتنقل الفقرات الأخيرة إلى المقطع التالي بوصفها تداخلًا. والقطع عند حدود الفقرات يتجنّب شطر الكلمات أو الأحرف العربية متعددة البايتات، وهو ما قد تفعله نوافذ الرموز الخام.
import tiktoken
enc = tiktoken.get_encoding("o200k_base") # an estimate: count with your embedder's tokenizer
count = lambda s: len(enc.encode(s))
def chunk(text, size=512, overlap=64):
"""Pack whole paragraphs up to `size` tokens; repeat trailing paragraphs up to `overlap` tokens."""
chunks, cur, cur_len = [], [], 0
for para in (p.strip() for p in text.split("\n\n")):
if not para:
continue
n = count(para)
if cur and cur_len + n > size:
chunks.append("\n\n".join(cur))
tail, t = [], 0
for q in reversed(cur): # carry the end of this chunk forward
if t + count(q) > overlap:
break
tail.insert(0, q); t += count(q)
cur, cur_len = tail, t
cur.append(para); cur_len += n # a paragraph over `size` stays whole
if cur:
chunks.append("\n\n".join(cur))
return chunks
def plan(corpus_tokens, size, overlap, k, queries_per_month, prompt_tokens=600):
index_tokens = corpus_tokens * size / (size - overlap) # long-document limit
per_query = k * size + prompt_tokens
return {"chunks": round(index_tokens / size), "tokens_to_embed": round(index_tokens),
"input_per_query": per_query, "input_per_month": per_query * queries_per_month}
print(plan(2_000_000, 512, 64, 5, 100_000))
# {'chunks': 4464, 'tokens_to_embed': 2285714, 'input_per_query': 3160, 'input_per_month': 316000000}
التداخل هنا «حتى» القيمة المحددة: فالفقرة الأطول من ميزانية التداخل لا تتكرر. والفقرة الواحدة الأطول من size تبقى كاملة؛ فقسّم مثل هذه الفقرات عند الجمل أولًا إن كانت مستنداتك تحتوي عليها. وابدأ كل مقطع بعنوان مستنده وعنوان قسمه، ليظل المقطع المسترجَع يقول عمّا يتحدث. وهذا يضيف بضعة رموز لكل مقطع، وكثيرًا ما يفيد أكثر من التداخل.
كيف تختار الأرقام لبياناتك؟
- ابنِ مجموعة تقييم. من 50 إلى 200 سؤال حقيقي، لكل منها المقطع الذي يجيب عنه. ويغطي دليل تقييم نماذج اللغة طريقة التقييم.
- ثبّت ميزانية السياق. أبقِ k × الحجم قريبًا من قيمة واحدة، مثل 2,000 رمز، أثناء مقارنة الأحجام.
- جرّب ثلاثة أحجام وتداخلين. مثلًا 256 و512 و1,024 رمزًا، كل منها بتداخل 0 و15%. وقِس استدعاء المقطع الصحيح عند k.
- جرّب البنية. إن كانت لمستنداتك صفحات أو أقسام مرقّمة، فاختبر المقاطع بمستوى الصفحة أو القسم مقابل الأحجام بالرموز. فقد وجدت NVIDIA أن مستوى الصفحة هو الأكثر اتساقًا.
- اختر أرخص إعداد يقع ضمن نقطة أو نقطتين من أفضل استدعاء، ثم سعّره بحجم استعلاماتك باستخدام طريقة حساب التكلفة الشهرية.
افعل ذلك على عيّنة قبل تضمين المجموعة كاملة. فتغيير التقطيع لاحقًا يعني إعادة تضمين كل شيء.
أين تقع BroadNet Inference من هذا؟
تخدم BroadNet Inference خطوة الإجابة في RAG، لا الاسترجاع. فهي لا تبيع تضمينات ولا تخزينًا للمتجهات، فاجمعها مع مزوّد تضمينات وقاعدة بيانات متجهات من اختيارك. وللإجابة، Gemma 4 VL 26B هو الخيار منخفض التكلفة، ويعمل بالرصيد الابتدائي $5. أما Qwen3.8 27B (سياق 262,144 رمزًا) وGLM 5.3 (1,048,576) فيناسبان قيم top-k الأكبر أو المستندات الطويلة، بعد شحن الرصيد. ولا يُحتفظ بالأوامر والمقاطع المسترجعة بعد الطلب. وإن كانت مجموعتك صغيرة وثابتة بما يكفي لتتسع لها نافذة السياق، فقد يتفوّق السياق الطويل على التقطيع كليًا.
