تحتاج إلى عدد الرموز (توكن) قبل إرسال الطلب لثلاثة أسباب: لتبقى داخل نافذة السياق، ولتختار قيمة معقولة لـ max_tokens، ولتقدّر التكلفة. العدد الدقيق لا يأتي إلا من مُرمِّز النموذج نفسه، والتقدير الجيد يأتي من المعايرة. يعرض هذا المقال الطريقتين بقياسات حقيقية.
لماذا يختلف عدد الرموز بين النماذج؟
المُرمِّز (tokenizer) يقسّم النص إلى قطع من مفردات ثابتة، وكل عائلة نماذج تدرّب مُرمِّزها الخاص. والمفردات الأكبر، أو المدرّبة على قدر أكبر من لغة ما، تُنتج رموزًا أقل لتلك اللغة. لذلك يختلف جواب سؤال «كم رمزًا في هذا الأمر؟» من نموذج إلى آخر.
قسنا رسالة قصيرة واحدة من خدمة العملاء مترجمة إلى أربع لغات، إضافة إلى دالة Python صغيرة وكائن JSON لفاتورة. أعداد OpenAI مأخوذة من tiktoken (cl100k_base من جيل GPT-4، وo200k_base من جيل GPT-4o). وأعداد النماذج المفتوحة مأخوذة من ملفات المُرمِّز التي تنشرها كل عائلة على Hugging Face، محسوبة دون قالب المحادثة، في 14 نوفمبر 2026.
| النص (المعنى نفسه) | الأحرف | cl100k_base | o200k_base | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 |
|---|---|---|---|---|---|---|---|
| الإنجليزية، 31 كلمة | 173 | 37 | 37 | 37 | 38 | 39 | 39 |
| الإسبانية | 160 | 47 | 40 | 50 | 45 | 43 | 42 |
| العربية | 142 | 102 | 46 | 55 | 58 | 48 | 49 |
| الصينية | 54 | 51 | 37 | 34 | 35 | 36 | 38 |
| دالة Python | 94 | 33 | 33 | 35 | 33 | 35 | 38 |
| فاتورة JSON | 140 | 59 | 60 | 63 | 60 | 72 | 72 |
في كل صف عيّنة واحدة، فاعتبر الأرقام توضيحًا لا مقياسًا مرجعيًا. ومع ذلك تصمد ثلاثة دروس. جيل المُرمِّز مهم: فقد انخفض النص العربي إلى أقل من النصف بين cl100k_base وo200k_base. والنماذج المفتوحة تختلف فيما بينها أيضًا: فالنص العربي نفسه تراوح بين 48 و58 رمزًا، وJSON بين 60 و72. والمحتوى المهيكل كثيف الرموز في كل مكان: فقد سجّل JSON نحو حرفين لكل رمز على كل المُرمِّزات.
يمكنك تكرار ذلك على نصك أنت باستخدام عدّاد الرموز المجاني، أو العدّادات الخاصة بكل عائلة لـ DeepSeek وQwen وGPT. ولترى ما يوفّره تعديل في الأمر، قارن النسختين في أداة مقارنة رموز الأوامر. أما لماذا تكلّف العربية تحديدًا رموزًا أكثر، مقيسةً على نصوص أطول، فيشرحه مقال عدد الرموز لكل كلمة في العربية والإنجليزية.
كيف تحسب الرموز بدقة؟
إذا كان مُرمِّز النموذج منشورًا، فحمّله واحسب محليًا. لنماذج OpenAI:
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))
أما عائلات النماذج مفتوحة الأوزان، فيأتي المُرمِّز عادةً مع النموذج على Hugging Face ويُحمَّل بـ AutoTokenizer.from_pretrained(...). وهنا تنبيهان: قالب المحادثة يضيف رموزًا للأدوار والفواصل، والنسخة التي ينشرها مزوّد الواجهة قد تختلف عن الملفات العامة. والمرجع التقني لواجهة BroadNet لا يوثّق نقطة نهاية لحساب الرموز ولا مُرمِّز كل نموذج، لذا يعطيك المُرمِّز العام تقديرًا قريبًا، والعدد الدقيق هو usage.prompt_tokens بعد الاستدعاء.
كيف تقدّر الرموز إذا لم يكن المُرمِّز منشورًا؟
عايِر مرة واحدة لكل نموذج، ثم قدّر محليًا:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def prompt_tokens(model, text):
r = client.chat.completions.create(
model=model, max_tokens=1000, # room for reasoning on thinking models
messages=[{"role": "user", "content": text}],
)
return r.usage.prompt_tokens
def measure(model, samples: dict[str, list[str]]):
base = prompt_tokens(model, "hi") # chat-template overhead plus one short word
ratios = {}
for kind, texts in samples.items():
chars = toks = 0
for t in texts:
chars += len(t)
toks += prompt_tokens(model, t) - base
ratios[kind] = chars / toks
return ratios # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}
def estimate(text, kind, ratios, overhead=10):
return int(len(text) / ratios[kind]) + overhead
استخدم 20 عيّنة حقيقية أو أكثر لكل نوع محتوى (أوامرك الفعلية، لا نصوص lorem ipsum). فالطلب الأساسي بكلمة واحدة يطرح العبء الثابت لقالب المحادثة، وتعيد الدالة estimate إضافته بوصفه overhead؛ فاضبطه على خط الأساس الذي قسته. ولا تعايِر على أرخص نماذج BroadNet إلا إذا كان هو النموذج الذي ستستدعيه: فنسب Gemma 4 VL 26B لا تنطبق على DeepSeek V4.1 Flash. والصور تُحتسب رموز إدخال أيضًا، والصور الأكبر تستهلك أكثر، فعايِرها على حدة حسب الدقة.
ما الهوامش المناسبة لقيمة max_tokens والسياق؟
النافذة تشمل الأمر والإخراج. وفي نماذج الاستدلال المنطقي يتضمن الإخراج تفكيرًا مخفيًا يُبلَّغ عنه بوصفه رموز الاستدلال المنطقي. احسب الميزانية هكذا:
- تقدير الأمر = العدد المعايَر × 1.15 (هامش أمان 15 بالمئة).
- ميزانية الإجابة = أطول إجابة تقبلها.
- ميزانية الاستدلال المنطقي = لنماذج التفكير، 1,000 رمز على الأقل؛ إذ توصي وثائق BroadNet بألّا تقل عن 1,000 أو باستخدام
reasoning_effort: "low"، لأن الحد الصغير قد يعيد إجابة فارغة. - max_tokens = ميزانية الإجابة + ميزانية الاستدلال المنطقي.
- التحقّق: تقدير الأمر + max_tokens ≤ نافذة السياق. وإن لم يتحقق ذلك، فاختصر الأمر لا الإجابة.
نوافذ السياق على BroadNet Inference، من ملف الأسعار المنشور:
| النموذج | نافذة السياق | السقف العملي للأمر مع إخراج 16K وهامش 15% |
|---|---|---|
| DeepSeek V4.1 Flash | 1,048,576 | نحو 897,000 |
| GLM 5.3 | 1,048,576 | نحو 897,000 |
| Qwen3.8 27B | 262,144 | نحو 213,000 |
| Gemma 4 VL 26B | 32,768 | نحو 14,000 |
عمود السقف = (النافذة − 16,384) ÷ 1.15، مقرّبًا إلى الأدنى. ضع قيمة max_tokens الخاصة بك مكان 16,384.
ما الأخطاء الشائعة في تقدير الرموز؟
- عدّ الكلمات بدل الرموز. قاعدة 0.75 كلمة لكل رمز خاصة بالإنجليزية. فعيّنتنا العربية المكوّنة من 29 كلمة بلغت من 46 إلى 102 رمز حسب المُرمِّز.
- نسيان الأدوات وأمر النظام. مخططات الأدوات مكتوبة بـ JSON، وهي كثيفة الرموز. فاحسبها جزءًا من الأمر.
- افتراض القصّ الصامت. بعض الأدوات تحذف الرسائل القديمة دون إخبارك. وتقول BroadNet إنها لا تقصّ سياقك، لذا تحقّق من الحجم قبل الإرسال بدل الاعتماد على الخادم ليقصّه. وحاسبة نافذة السياق تجري هذا التحقق نيابةً عنك.
- تجاهل نموّ السجل. في المحادثة أو حلقة الوكيل يكبر الأمر مع كل دور. فأعد التحقق من الميزانية في كل استدعاء، لا مرة واحدة في الجلسة. والسجل الثابت يُخزَّن مؤقتًا بشكل أفضل أيضًا؛ راجع بنية الأوامر للتخزين المؤقت.
إذا كنت تعمل بالعربية، فالمُرمِّز سبب إضافي لاختبار النماذج على نصك أنت؛ ويغطي مقال اختيار نموذج لغوي للعربية بقية الجوانب. ولتحويل أعداد الرموز إلى فاتورة شهرية، راجع كيف تقدّر تكلفة LLM API قبل الإطلاق.
أين تقع BroadNet Inference من هذا؟
تُعيد BroadNet Inference في كل استجابة prompt_tokens وcompletion_tokens، ومعهما أعداد الرموز المخزّنة مؤقتًا ورموز الاستدلال المنطقي حين يُبلغ النموذج عنها، وهذا كل ما تحتاجه للمعايرة. ولا تنشر نقطة نهاية للعدّ ولا مُرمِّزات لكل نموذج، لذا تبقى الأعداد قبل الإرسال تقديرات. ويغطي دليل نافذة السياق العمل بالسياق الطويل على نماذج المليون رمز، والأسعار لكل مليون رمز موجودة في صفحة الأسعار.
