BroadRouter

تقليل رموز الأمر: تخفيضات مقيسة لأوامر النظام والأدوات والبيانات

بقلم فريق BroadNet Inference · قراءة في 7 دقائق · تاريخ النشر · آخر تحديث

ابدأ بالقياس: سجّل prompt_tokens لكل استدعاء، وحدّد الجزء الأكبر، وقارن قبل التعديل وبعده بمقسّم رموز (توكن) النموذج. وعبر خمسة مقسّمات رموز، وفّر تقليص أمر نظام مسهب ما بين 68 و71%، واستهلكت صيغة CSV رموزًا أقل بنسبة 31 إلى 41% من JSON المضغوط. وعلى ثلاثة نماذج، خفّض أمر نظام مقلَّص مع 3 أدوات قصيرة بدل 10 مسهبة الطلب الكامل بعد تطبيق القالب بنحو 65 إلى 71%.

الأوامر الأقصر تكلّف أقل، وتترك مساحة أكبر من نافذة السياق للعمل، وعادةً تعيد الرمز الأول أسرع. لكن «اجعل الأمر أقصر» نصيحة مبهمة. يقيس هذا المقال التخفيضات الشائعة على أمر واقعي واحد لبوت دعم، بمقسّمات الرموز الحقيقية لأربعة نماذج مفتوحة وبترميز o200k_base من OpenAI، لترى أي التعديلات تستحق وقتك.

وإذا كنت تشغّل وكيل برمجة، فمقال ميزانية رموز الوكيل يغطي تلك الحلقة. أما هذا المقال فيتناول أوامر التطبيقات: بوتات المحادثة والمصنِّفات ومهام الاستخراج.

كيف قسنا؟

كل الأعداد أدناه من قياسنا، في 15 نوفمبر 2026:

  • مقسّمات الرموز. ملفات tokenizer.json الرسمية لنماذج DeepSeek V4.1 Flash وGLM 5.3 وQwen3.8 27B وGemma 4 26B A4B من Google، كلٌّ عند مراجعة مثبّتة على Hugging Face (انظر المصادر)، محمّلة بمكتبة tokenizers من Hugging Face بالإصدار 0.23.3. إضافة إلى o200k_base من tiktoken 0.14.0، للمقارنة مع نماذج GPT. ولم نُضف الرموز الخاصة.
  • الأوامر بعد تطبيق القالب. لنماذج DeepSeek وGLM وQwen، طبّقنا أيضًا قالب chat_template.jinja المنشور لكل نموذج على طلبات كاملة (في بيئة Jinja2 معزولة)، تتضمن أمر النظام والأدوات والسجل والسؤال، وعددنا رموز النتيجة. وهذا قريب مما يقسّمه الخادم، لكن قد يستخدم المزوّد قالبًا مختلفًا، فاعتبر usage.prompt_tokens في الواجهة هو الحَكَم النهائي.
  • النص. بوت دعم اصطناعي لشركة اتصالات خيالية: أمر نظام من 261 كلمة، و10 أدوات، و8 أمثلة few-shot، و40 صفًا من الطلبات، وسجل من 20 دورًا، وفقرة عربية من 31 كلمة. والأمر الواحد نقطة بيانات واحدة. سيختلف توفيرك؛ لكن المنهج ينطبق.

ونموذج Gemma 4 VL 26B من BroadNet مبني على نموذج Google، لذا فعدد رموزه تقديري. أما البقية فتستخدم ملفات النماذج نفسها.

أي التخفيضات توفّر أكثر الرموز؟

النص الخام، قبل → بعد، مع نسبة التوفير:

التعديل DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
أمر النظام: 261 كلمة → 66 كلمة 295 → 88 (70%) 294 → 89 (70%) 297 → 95 (68%) 297 → 96 (68%) 293 → 86 (71%)
few-shot: 8 أمثلة → 3 157 → 69 (56%) 157 → 69 (56%) 156 → 71 (54%) 156 → 71 (54%) 152 → 69 (55%)
40 صفًا: JSON مزاح → JSON مضغوط 2,446 → 1,606 (34%) 2,460 → 1,581 (36%) 3,180 → 1,980 (38%) 3,210 → 2,010 (37%) 2,446 → 1,567 (36%)
40 صفًا: JSON مضغوط → CSV 1,606 → 948 (41%) 1,581 → 960 (39%) 1,980 → 1,359 (31%) 2,010 → 1,382 (31%) 1,567 → 946 (40%)
10 أدوات: أوصاف مسهبة → قصيرة 1,224 → 806 (34%) 1,214 → 797 (34%) 1,225 → 806 (34%) 1,252 → 827 (34%) 1,202 → 796 (34%)
10 أدوات مسهبة → 3 قصيرة 1,224 → 258 (79%) 1,214 → 257 (79%) 1,225 → 266 (78%) 1,252 → 276 (78%) 1,202 → 255 (79%)
فقرة عربية: مشكولة بالكامل → دون تشكيل 193 → 74 (62%) 267 → 78 (71%) 151 → 62 (59%) 180 → 64 (64%) 218 → 62 (72%)

النسب متقاربة بين مقسّمات الرموز في النثر الإنجليزي، فالتخفيض الذي يفيد في نموذج يفيد في غيره. لكن صفّين يكسران هذا النمط. فبيانات الطلبات كلّفت Qwen وGemma رموزًا أكثر بنسبة 23 إلى 46% من DeepSeek وGLM في كل صيغة، لأن مقسّمي رموزهما يقسمان الأرقام إلى خانات مفردة: 100200 تساوي 6 رموز في Qwen ورمزين في DeepSeek. والتشكيل العربي يرهق بعض مقسّمات الرموز أكثر بكثير من غيرها.

كيف يبدو الطلب الكامل؟

النص الخام لا يحتسب قالب المحادثة. وبعد تطبيق قالب كل نموذج، مع سؤال العميل نفسه، كانت قياسات الأمر الكامل:

الطلب DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B
A. أمر نظام مسهب + 10 أدوات مسهبة 1,677 1,535 1,797
B. أمر نظام مقلّص + 10 أدوات قصيرة 1,052 913 1,176
C. أمر نظام مقلّص + 3 أدوات قصيرة 574 443 636
D. أمر نظام مقلّص، بلا أدوات 136 121 174
C + 20 دورًا سابقًا كاملة 2,374 2,243 2,693
C + ملخص من 3 أسطر + آخر 4 أدوار 979 849 1,103

الانتقال من A إلى C خفّض كل طلب بنحو 65 إلى 71% (64.6% على Qwen، و71.1% على GLM). ومعظم ذلك جاء من الأدوات. فمع أمر النظام المسهب، أضافت الأدوات العشر المسهبة 1,334 رمزًا في DeepSeek، و1,209 في GLM، و1,421 في Qwen؛ وأضافت الأدوات الثلاث القصيرة في C ما بين 322 و462 فوق D. فمخططات استدعاء الأدوات تُرسل مع كل طلب، سواء استخدمها النموذج أم لا.

ومع الحجم يتراكم ذلك. في Qwen3.8 27B، يوفّر الانتقال من A إلى C نحو 1,161 رمزًا لكل طلب. وعند 100,000 طلب شهريًا، يعني ذلك نحو 116 مليون رمز إدخال، أي 116 × $0.175 شهريًا بسعر الإدخال القياسي.

كيف تقلّص أمر النظام دون أن تفسده؟

يحمل أمرنا ذو الـ 261 كلمة وأمرنا ذو الـ 66 كلمة القواعد السبع نفسها. وكانت التخفيضات كلها من النوع نفسه:

  1. احذف المجاملات الموجّهة إلى النموذج. عبارة “It is very important that you always remain polite and courteous at all times” (الترجمة: «من المهم جدًا أن تظل مهذبًا ولطيفًا في جميع الأوقات») حُذفت تمامًا: فسطر الدور يتضمنها ضمنًا.
  2. قاعدة واحدة في كل سطر. النقاط تحل محل جمل من نوع “Please make sure that you always…” (الترجمة: «يُرجى التأكد من أنك دائمًا…»).
  3. ادمج المكرر. ثلاث جمل عن اللغة صارت “Reply in the customer’s language (Arabic or English), briefly.” (الترجمة: «رُدّ بلغة العميل (العربية أو الإنجليزية)، باختصار.»)
  4. احذف إعادة صياغة السلوك الافتراضي. عبارة “Remember to always be helpful!” (الترجمة: «تذكّر أن تكون مفيدًا دائمًا!») لا تغيّر شيئًا.

ثم اختبر. فالأمر الأقصر الذي يُسقط قاعدة يكلّف أكثر مما يوفّر. شغّل النسختين على 50 إلى 100 إدخال حقيقي نفسه وقارن، كما في تقييم نموذج LLM قبل التبديل.

كم مثالًا من أمثلة few-shot تحتاج؟

أقل مما تحمله معظم الأوامر. فكل مثال few-shot تدفع ثمنه في كل استدعاء. أبقِ الأمثلة التي تصحح خطأً يرتكبه النموذج من دونها، كمثال لهجي لمصنِّف عربي، واحذف ما يصيب فيه أصلًا. وقد وفّر تخفيضنا من 8 إلى 3 ما بين 54 و56% من كتلة الأمثلة. أما هل 3 أمثلة كافية لمهمتك فهي مسألة دقة لا مسألة رموز، فتحقق منها على مجموعة اختبارك.

هل ترسل الأدوات والبيانات والسجل بطريقة مختلفة؟

الأدوات. أرسل فقط الأدوات التي تستطيع الخطوة الحالية استخدامها. فسؤال عن الفاتورة يحتاج إلى get_account وget_bill وcreate_ticket، لا إلى order_esim. واختصر الأوصاف إلى ما يحتاج إليه النموذج ليختار الأداة ويملأها. والإزاحة بالمسافات لا تهم هنا: فكل القوالب التي طبّقناها تعيد تسلسل مصفوفة tools بالمرشّح tojson، لذا فمصفوفة أدوات منسّقة تكلّف ما تكلّفه مصفوفة مضغوطة.

البيانات في الرسائل. البيانات التي تلصقها في رسالة تُرسل كما كتبتها. اضغط JSON على الأقل. وللسجلات المسطّحة، تحذف صيغة CSV أو TSV المفاتيح المكررة: رموز أقل بنسبة 31 إلى 41% من JSON المضغوط في اختبارنا. أما البيانات المتداخلة فتبقى JSON. وتحقق أن النموذج لا يزال يقرأ الأعمدة بشكل صحيح.

السجل. كل دور سابق يُعاد إرساله. واستبدال 16 دورًا قديمًا بملخص من ثلاثة أسطر، مع إبقاء آخر أربعة أدوار بنصها، خفّض أمر Qwen من 2,693 رمزًا إلى 1,103. لكن الملخص يُسقط تفاصيل قد يعود إليها المستخدم، وإعادة كتابته تغيّر البادئة، مما يُفسد التخزين المؤقت. ويغطي مقال إدارة سياق الوكلاء طويلي التشغيل متى تضغط السياق.

التشكيل العربي. معظم العربية تُكتب دون حركات قصيرة. فإذا كان إدخالك مشكولًا بالكامل، من معجم أو كتاب مدرسي أو مصدر ديني، فإن حذف العلامات (من U+064B إلى U+0652) خفّض فقرتنا بنسبة 59 إلى 72%. وأبقِها حين تعتمد المهمة عليها، كالتعليم أو الشعر. ويغطي مقال تطبيع النص العربي بقية الأحرف التي تستحق التطبيع، ومقال الرموز لكل كلمة في العربية الفجوة الأوسع مع الإنجليزية.

أين يأتي دور التخزين المؤقت؟

التخزين المؤقت لا يقلّص الأمر، بل يجعل الجزء المتكرر أرخص. يقول دليل التخزين المؤقت من OpenAI إن “the entire rendered prefix” (الترجمة: «البادئة كاملة بعد تطبيق القالب») يجب أن تتطابق، وينصح بوضع التعليمات الثابتة أولًا. وتصف صفحة الأسعار لدى BroadNet الإدخال المخزّن مؤقتًا بأنه “usually the repeated start of recent requests, such as a long system prompt” (الترجمة: «عادةً البداية المتكررة للطلبات الأخيرة، مثل أمر نظام طويل»)، دون أي إعداد، وتبلّغ وثائقها عن الإصابات في usage.prompt_tokens_details.cached_tokens.

لذا فالترتيب: اختصر أولًا، ثم اجعل البادئة المختصرة ثابتة. أمر النظام والأدوات أولًا، متطابقة بايتًا ببايت في كل استدعاء؛ ثم السجل، بالإضافة فقط دون تعديل؛ ثم الرسالة الجديدة أخيرًا. وفي Qwen3.8 27B، سعر الإدخال المخزّن مؤقتًا $0.0435 لكل مليون مقابل $0.175. ويعرض مقال بنية الأوامر للتخزين المؤقت الترتيب واختبارًا يثبت أن البادئة يُعاد استخدامها. والرموز المخزّنة مؤقتًا لا تزال تُحتسب ضمن نافذة السياق.

كيف تقيس أمرك أنت؟

ابدأ بالفاتورة. سجّل usage.prompt_tokens لكل موضع استدعاء لمدة يوم وحدّد الأكبر. ثم قارن النسخ محليًا بهذا السكربت، الذي يطبع العدد قبل التعديل وبعده لملفين:

# pip install tokenizers tiktoken huggingface_hub
import json, sys
import tiktoken
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer

def hf(repo, rev):
    return Tokenizer.from_file(hf_hub_download(repo, "tokenizer.json", revision=rev))

COUNTERS = {
    "Qwen3.8 27B": hf("Qwen/Qwen3.8-27B", "37561816e66b5b9153b1b64c10968c18c1e6f4a0").encode,
    "GPT o200k": tiktoken.get_encoding("o200k_base").encode,
}

def n(enc, text):
    out = enc(text)
    return len(out.ids if hasattr(out, "ids") else out)

def diff(before, after):
    for name, enc in COUNTERS.items():
        a, b = n(enc, before), n(enc, after)
        print(f"{name:12} {a:6} -> {b:6}  saved {a - b} ({100 * (a - b) / a:.0f}%)")

if __name__ == "__main__":
    diff(open(sys.argv[1], encoding="utf-8").read(), open(sys.argv[2], encoding="utf-8").read())

وحين شغّلناه على أمري النظام لدينا طبع:

Qwen3.8 27B     297 ->     95  saved 202 (68%)
GPT o200k       293 ->     86  saved 207 (71%)

أضف مستودعات النماذج الأخرى من قائمة المصادر لتقارن الأربعة. وللتحقق السريع في المتصفح، تقارن أداة فرق رموز الأمر بين نسختين جنبًا إلى جنب، ويعدّ عدّاد الرموز رموز نسخة واحدة. وبعد النشر، تأكد من التوفير في usage.prompt_tokens، الذي يتضمن القالب.

أين تقع BroadNet Inference من هذا؟

BroadRouter هو موقع BroadNet. وتحتسب BroadNet Inference رموز الأمر بسعر الإدخال لكل نموذج، وتقرأ البادئات المتكررة من الذاكرة المؤقتة بالسعر المخزّن مؤقتًا حيث يكون للنموذج هذا السعر، لذا فإن الأوامر الأقصر والبادئات الثابتة كلتيهما تخفّض الفاتورة. ونموذج Gemma 4 VL 26B بسياق 32,768 رمزًا، حيث يهم التقليص للاتساع لا للتكلفة فقط. وفي خطط DeepSeek V4.1 Flash لا يوجد عدّاد رموز، لكن سياق 1,048,576 رمزًا يظل ساريًا، والأمر الأقصر يظل يعيد الإجابة أسرع. ولا يُحتفظ بالأوامر بعد كل طلب.

أسئلة شائعة

كيف أقلّل عدد الرموز في الأمر؟

ابدأ بالقياس: سجّل usage.prompt_tokens وحدّد الجزء الأكبر. ثم، بترتيب ما قسنا أنه يوفّر أكثر: أرسل فقط الأدوات التي تحتاج إليها الخطوة، واختصر صياغة الأدوات وأمر النظام، وأرسل الجداول بصيغة CSV لا JSON، واقتصر من أمثلة few-shot على ما يغيّر النتائج، ولخّص أدوار المحادثة القديمة.

هل يستهلك JSON المنسّق رموزًا أكثر؟

نعم. في اختبارنا، وفّر ضغط 40 صفًا من JSON المزاح بالمسافات ما بين 34 و38% من الرموز، بحسب مقسّم الرموز، ووفّر إرسالها بصيغة CSV ما بين 57 و61%. وبعبارة أخرى، استهلك JSON المزاح رموزًا أكثر بنسبة 52 إلى 61% من JSON المضغوط، وأكثر بنسبة 132 إلى 159% من CSV. ومخططات الأدوات استثناء: فقوالب المحادثة تعيد تسلسلها، لذا لا تصل إزاحة المسافات في مصفوفة tools إلى النموذج.

كم رمزًا تستهلك تعريفات الأدوات؟

يعتمد ذلك على الصياغة وقالب النموذج. أضافت أدواتنا العشر ذات الأوصاف المسهبة نحو 1,200 إلى 1,400 رمز إلى الأمر بعد تطبيق القالب في DeepSeek V4.1 Flash وGLM 5.3 وQwen3.8 27B. وأضافت ثلاث أدوات بأوصاف قصيرة نحو 320 إلى 460.

هل يزيد التشكيل العربي عدد الرموز؟

كثيرًا. استهلكت فقرة بالعربية الفصحى من 31 كلمة ما بين 62 و78 رمزًا دون تشكيل، وما بين 151 و267 رمزًا مشكولة بالكامل، عبر خمسة مقسّمات رموز. ومعظم النص العربي يُكتب دون تشكيل، فاحذفه من الإدخال ما لم تحتج إليه المهمة، كالشعر أو التعليم.

هل التخزين المؤقت للأوامر أفضل من تقصير الأمر؟

يعملان معًا. يجعل التخزين المؤقت البادئة المتكررة أرخص، لكنها تظل تُحتسب ضمن نافذة السياق ويظل لها سعر. اختصر أولًا، ثم أبقِ البادئة المختصرة متطابقة بايتًا ببايت في بداية كل طلب لتُقرأ من الذاكرة المؤقتة.

لماذا يختلف عدد الرموز لديّ عن prompt_tokens في الواجهة؟

تحسب الواجهة الأمر بعد تطبيق القالب: رسائلك مغلّفة بقالب المحادثة، إضافة إلى مخططات الأدوات بصيغة القالب نفسه. ومقسّم الرموز الذي تشغّله على نصك الخام يفوته ذلك. استخدم مقسّم الرموز للمقارنة بين النسخ، وusage.prompt_tokens للفاتورة.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity

المصادر