---
title: "حساب الرموز قبل الإرسال: التقدير والهوامش واللغات | BroadRouter"
description: "قدّر رموز الأمر حسب اللغة والنموذج قبل استدعاء LLM API: لماذا تختلف المُرمِّزات، وقياسات فعلية بخمس لغات، وهوامش آمنة لقيمة max_tokens."
url: https://broadrouter.com/ar/blog/count-tokens-before-sending/
lang: ar
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

تُرجمت هذه الصفحة من الإنجليزية بمساعدة الذكاء الاصطناعي. [اقرأ الأصل الإنجليزي](https://broadrouter.com/blog/count-tokens-before-sending/) (حُدّث في 2026-11-16).

# كيف تحسب عدد الرموز قبل إرسال طلب إلى LLM API؟

بقلم فريق BroadNet Inference · قراءة في 5 دقائق · تاريخ النشر 2026-11-14 · آخر تحديث 2026-11-16

احسب الرموز بمُرمِّز (tokenizer) النموذج الذي تستدعيه إن كان منشورًا؛ وإلا فاستخرج نسبة الأحرف لكل رمز من حقل usage في طلبات حقيقية، لكل لغة ونوع محتوى. أضف هامشًا من 10 إلى 20 بالمئة، ثم تحقّق أن رموز الأمر مع max\_tokens تتسع لها نافذة السياق، مع ترك مساحة لرموز الاستدلال المنطقي في نماذج التفكير.

## أبرز النقاط

-   تختلف المُرمِّزات من نموذج لآخر. فالجملة العربية نفسها بلغت في اختبارنا 102 رمز مع cl100k\_base، و46 مع o200k\_base، ومن 48 إلى 58 مع مُرمِّزات النماذج المفتوحة.
-   سجّل النثر الإنجليزي نحو 4.5 أحرف لكل رمز على كل المُرمِّزات في هذا الاختبار القصير؛ أما الشيفرة وJSON ومعظم الخطوط غير اللاتينية فتستهلك رموزًا أكثر لكل حرف.
-   إذا لم يكن مُرمِّز النموذج منشورًا فعايِر: أرسل عيّنات، واقرأ usage.prompt\_tokens، واحفظ نسبة لكل لغة ونوع محتوى.
-   نافذة السياق تشمل الأمر والإخراج معًا. فاحسب ميزانية الأمر + max\_tokens + هامش، لا الأمر وحده.
-   في نماذج الاستدلال المنطقي يُحتسب التفكير ضمن max\_tokens؛ وتوصي BroadNet بألّا تقل عن 1,000 أو باستخدام reasoning\_effort بقيمة low.

**في هذه الصفحة**

1.  لماذا يختلف عدد الرموز بين النماذج؟
2.  كيف تحسب الرموز بدقة؟
3.  كيف تقدّر الرموز إذا لم يكن المُرمِّز منشورًا؟
4.  ما الهوامش المناسبة لقيمة max\_tokens والسياق؟
5.  ما الأخطاء الشائعة في تقدير الرموز؟
6.  أين تقع BroadNet Inference من هذا؟

تحتاج إلى عدد [الرموز](https://broadrouter.com/ar/glossary/token/) (توكن) قبل إرسال الطلب لثلاثة أسباب: لتبقى داخل [نافذة السياق](https://broadrouter.com/ar/glossary/context-window/)، ولتختار قيمة معقولة لـ [max\_tokens](https://broadrouter.com/ar/glossary/max-tokens/)، ولتقدّر التكلفة. العدد الدقيق لا يأتي إلا من مُرمِّز النموذج نفسه، والتقدير الجيد يأتي من المعايرة. يعرض هذا المقال الطريقتين بقياسات حقيقية.

## لماذا يختلف عدد الرموز بين النماذج؟

المُرمِّز (tokenizer) يقسّم النص إلى قطع من مفردات ثابتة، وكل عائلة نماذج تدرّب مُرمِّزها الخاص. والمفردات الأكبر، أو المدرّبة على قدر أكبر من لغة ما، تُنتج رموزًا أقل لتلك اللغة. لذلك يختلف جواب سؤال «كم رمزًا في هذا الأمر؟» من نموذج إلى آخر.

قسنا رسالة قصيرة واحدة من خدمة العملاء مترجمة إلى أربع لغات، إضافة إلى دالة Python صغيرة وكائن JSON لفاتورة. أعداد OpenAI مأخوذة من [tiktoken](https://github.com/openai/tiktoken) (`cl100k_base` من جيل GPT-4، و`o200k_base` من جيل GPT-4o). وأعداد النماذج المفتوحة مأخوذة من ملفات المُرمِّز التي تنشرها كل عائلة على Hugging Face، محسوبة دون قالب المحادثة، في 14 نوفمبر 2026.

| النص (المعنى نفسه) | الأحرف | cl100k\_base | o200k\_base | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 |
| --- | --- | --- | --- | --- | --- | --- | --- |
| الإنجليزية، 31 كلمة | 173 | 37 | 37 | 37 | 38 | 39 | 39 |
| الإسبانية | 160 | 47 | 40 | 50 | 45 | 43 | 42 |
| العربية | 142 | 102 | 46 | 55 | 58 | 48 | 49 |
| الصينية | 54 | 51 | 37 | 34 | 35 | 36 | 38 |
| دالة Python | 94 | 33 | 33 | 35 | 33 | 35 | 38 |
| فاتورة JSON | 140 | 59 | 60 | 63 | 60 | 72 | 72 |

في كل صف عيّنة واحدة، فاعتبر الأرقام توضيحًا لا مقياسًا مرجعيًا. ومع ذلك تصمد ثلاثة دروس. جيل المُرمِّز مهم: فقد انخفض النص العربي إلى أقل من النصف بين `cl100k_base` و`o200k_base`. والنماذج المفتوحة تختلف فيما بينها أيضًا: فالنص العربي نفسه تراوح بين 48 و58 رمزًا، وJSON بين 60 و72. والمحتوى المهيكل كثيف الرموز في كل مكان: فقد سجّل JSON نحو حرفين لكل رمز على كل المُرمِّزات.

يمكنك تكرار ذلك على نصك أنت باستخدام [عدّاد الرموز](https://broadrouter.com/tools/token-counter/) المجاني، أو العدّادات الخاصة بكل عائلة لـ [DeepSeek](https://broadrouter.com/tools/deepseek-token-counter/) و[Qwen](https://broadrouter.com/tools/qwen-token-counter/) و[GPT](https://broadrouter.com/tools/gpt-token-counter/). ولترى ما يوفّره تعديل في الأمر، قارن النسختين في [أداة مقارنة رموز الأوامر](https://broadrouter.com/tools/prompt-token-diff/). أما لماذا تكلّف العربية تحديدًا رموزًا أكثر، مقيسةً على نصوص أطول، فيشرحه مقال [عدد الرموز لكل كلمة في العربية والإنجليزية](https://broadrouter.com/ar/blog/tokens-per-word-arabic-english/).

## كيف تحسب الرموز بدقة؟

إذا كان مُرمِّز النموذج منشورًا، فحمّله واحسب محليًا. لنماذج OpenAI:

```python
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))
```

أما عائلات النماذج مفتوحة الأوزان، فيأتي المُرمِّز عادةً مع النموذج على Hugging Face ويُحمَّل بـ `AutoTokenizer.from_pretrained(...)`. وهنا تنبيهان: قالب المحادثة يضيف رموزًا للأدوار والفواصل، والنسخة التي ينشرها مزوّد الواجهة قد تختلف عن الملفات العامة. والمرجع التقني لواجهة BroadNet لا يوثّق نقطة نهاية لحساب الرموز ولا مُرمِّز كل نموذج، لذا يعطيك المُرمِّز العام تقديرًا قريبًا، والعدد الدقيق هو `usage.prompt_tokens` بعد الاستدعاء.

## كيف تقدّر الرموز إذا لم يكن المُرمِّز منشورًا؟

عايِر مرة واحدة لكل نموذج، ثم قدّر محليًا:

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def prompt_tokens(model, text):
    r = client.chat.completions.create(
        model=model, max_tokens=1000,  # room for reasoning on thinking models
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

def measure(model, samples: dict[str, list[str]]):
    base = prompt_tokens(model, "hi")  # chat-template overhead plus one short word
    ratios = {}
    for kind, texts in samples.items():
        chars = toks = 0
        for t in texts:
            chars += len(t)
            toks += prompt_tokens(model, t) - base
        ratios[kind] = chars / toks
    return ratios  # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}

def estimate(text, kind, ratios, overhead=10):
    return int(len(text) / ratios[kind]) + overhead
```

استخدم 20 عيّنة حقيقية أو أكثر لكل نوع محتوى (أوامرك الفعلية، لا نصوص lorem ipsum). فالطلب الأساسي بكلمة واحدة يطرح العبء الثابت لقالب المحادثة، وتعيد الدالة `estimate` إضافته بوصفه `overhead`؛ فاضبطه على خط الأساس الذي قسته. ولا تعايِر على أرخص نماذج BroadNet إلا إذا كان هو النموذج الذي ستستدعيه: فنسب [Gemma 4 VL 26B](https://broadrouter.com/ar/models/gemma-4-vl-26b/) لا تنطبق على [DeepSeek V4.1 Flash](https://broadrouter.com/ar/models/deepseek-v4.1-flash/). والصور تُحتسب رموز إدخال أيضًا، والصور الأكبر تستهلك أكثر، فعايِرها على حدة حسب الدقة.

## ما الهوامش المناسبة لقيمة max\_tokens والسياق؟

النافذة تشمل الأمر **و**الإخراج. وفي نماذج الاستدلال المنطقي يتضمن الإخراج تفكيرًا مخفيًا يُبلَّغ عنه بوصفه [رموز الاستدلال المنطقي](https://broadrouter.com/ar/glossary/reasoning-tokens/). احسب الميزانية هكذا:

1.  **تقدير الأمر** = العدد المعايَر × 1.15 (هامش أمان 15 بالمئة).
2.  **ميزانية الإجابة** = أطول إجابة تقبلها.
3.  **ميزانية الاستدلال المنطقي** = لنماذج التفكير، 1,000 رمز على الأقل؛ إذ توصي وثائق BroadNet بألّا تقل عن 1,000 أو باستخدام `reasoning_effort: "low"`، لأن الحد الصغير قد يعيد إجابة فارغة.
4.  **max\_tokens** = ميزانية الإجابة + ميزانية الاستدلال المنطقي.
5.  **التحقّق**: تقدير الأمر + max\_tokens ≤ نافذة السياق. وإن لم يتحقق ذلك، فاختصر الأمر لا الإجابة.

نوافذ السياق على BroadNet Inference، من ملف الأسعار المنشور:

| النموذج | نافذة السياق | السقف العملي للأمر مع إخراج 16K وهامش 15% |
| --- | --- | --- |
| DeepSeek V4.1 Flash | 1,048,576 | نحو 897,000 |
| [GLM 5.3](https://broadrouter.com/ar/models/glm-5.3/) | 1,048,576 | نحو 897,000 |
| [Qwen3.8 27B](https://broadrouter.com/ar/models/qwen3.8-27b/) | 262,144 | نحو 213,000 |
| Gemma 4 VL 26B | 32,768 | نحو 14,000 |

عمود السقف = (النافذة − 16,384) ÷ 1.15، مقرّبًا إلى الأدنى. ضع قيمة max\_tokens الخاصة بك مكان 16,384.

## ما الأخطاء الشائعة في تقدير الرموز؟

-   **عدّ الكلمات بدل الرموز.** قاعدة 0.75 كلمة لكل رمز خاصة بالإنجليزية. فعيّنتنا العربية المكوّنة من 29 كلمة بلغت من 46 إلى 102 رمز حسب المُرمِّز.
-   **نسيان الأدوات وأمر النظام.** مخططات الأدوات مكتوبة بـ JSON، وهي كثيفة الرموز. فاحسبها جزءًا من الأمر.
-   **افتراض القصّ الصامت.** بعض الأدوات تحذف الرسائل القديمة دون إخبارك. وتقول BroadNet إنها لا تقصّ سياقك، لذا تحقّق من الحجم قبل الإرسال بدل الاعتماد على الخادم ليقصّه. و[حاسبة نافذة السياق](https://broadrouter.com/tools/context-window-calculator/) تجري هذا التحقق نيابةً عنك.
-   **تجاهل نموّ السجل.** في المحادثة أو حلقة الوكيل يكبر الأمر مع كل دور. فأعد التحقق من الميزانية في كل استدعاء، لا مرة واحدة في الجلسة. والسجل الثابت يُخزَّن مؤقتًا بشكل أفضل أيضًا؛ راجع [بنية الأوامر للتخزين المؤقت](https://broadrouter.com/ar/blog/prompt-structure-for-caching/).

إذا كنت تعمل بالعربية، فالمُرمِّز سبب إضافي لاختبار النماذج على نصك أنت؛ ويغطي مقال [اختيار نموذج لغوي للعربية](https://broadrouter.com/ar/blog/choosing-an-llm-for-arabic/) بقية الجوانب. ولتحويل أعداد الرموز إلى فاتورة شهرية، راجع [كيف تقدّر تكلفة LLM API قبل الإطلاق](https://broadrouter.com/ar/blog/estimate-llm-api-cost-before-launch/).

## أين تقع BroadNet Inference من هذا؟

تُعيد BroadNet Inference في كل استجابة `prompt_tokens` و`completion_tokens`، ومعهما أعداد الرموز المخزّنة مؤقتًا ورموز الاستدلال المنطقي حين يُبلغ النموذج عنها، وهذا كل ما تحتاجه للمعايرة. ولا تنشر نقطة نهاية للعدّ ولا مُرمِّزات لكل نموذج، لذا تبقى الأعداد قبل الإرسال تقديرات. ويغطي [دليل نافذة السياق](https://broadrouter.com/ar/blog/million-token-context-window-guide/) العمل بالسياق الطويل على نماذج المليون رمز، والأسعار لكل مليون رمز موجودة في [صفحة الأسعار](https://broadrouter.com/ar/pricing/).

أدوات مجانية لهذا الموضوع (بالإنجليزية)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[أدوات مجانية (بالإنجليزية)](https://broadrouter.com/tools/)

## مصطلحات في هذا المقال

[الرمز (التوكن، Token)](https://broadrouter.com/ar/glossary/token/)

الرمز (التوكن) هو وحدة النص التي يقرؤها نموذج اللغة ويكتبها: كلمة، أو جزء من كلمة، أو علامة ترقيم، أو تسلسل بايتات ينتجه مجزّئ النموذج (tokenizer). وتَعُدّ واجهات LLM API الاستهلاك بالرموز، وتضع حدودها بها، وتحتسب تكلفتها بها عادةً.

[استدعاء الأدوات (Tool calling)](https://broadrouter.com/ar/glossary/tool-calling/)

استدعاء الأدوات، ويُسمّى أيضًا استدعاء الدوال (function calling)، ميزة في واجهات LLM API يُرجع فيها النموذج طلبًا منظَّمًا لتشغيل دالة عرّفها المطوّر، مع معاملات بصيغة JSON. ويشغّل التطبيق الدالة ويعيد النتيجة؛ فالنموذج لا يشغّل الشيفرة بنفسه أبدًا.

[نافذة السياق (Context window)](https://broadrouter.com/ar/glossary/context-window/)

نافذة السياق هي الحد الأقصى لعدد الرموز (التوكنات) التي يستطيع نموذج اللغة التعامل معها في طلب واحد. وتشمل الأمر (prompt) وسجل المحادثة وتعريفات الأدوات والصور والمخرجات المولَّدة، بما فيها رموز الاستدلال المنطقي. وكل ما لا يتسع لها يجب قصّه أو تلخيصه أو توزيعه على عدة طلبات.

[max\_tokens (الحد الأقصى لرموز المخرجات)](https://broadrouter.com/ar/glossary/max-tokens/)

max\_tokens معامل في واجهات LLM API يحدد أقصى عدد من الرموز يمكن أن يولّده النموذج في استجابة واحدة. وحين يبلغ التوليد هذا الحد يتوقف، وتُعلَّم الاستجابة بأنها مقطوعة، مثلًا بضبط finish\_reason على "length".

[قالب المحادثة (Chat template)](https://broadrouter.com/ar/glossary/chat-template/)

قالب المحادثة هو قاعدة التنسيق، المكتوبة غالبًا بلغة Jinja والمرفقة بمجزّئ النموذج، التي تحوّل قائمة رسائل المحادثة بأدوارها إلى تسلسل الرموز الواحد الذي يتوقعه النموذج، بما فيه رموز التحكم الخاصة. واستخدام قالب خاطئ قد يضعف إجابات النموذج بشدة.

[المجزّئ (Tokenizer)](https://broadrouter.com/ar/glossary/tokenizer/)

المجزّئ (tokenizer) هو المكوّن الذي يحوّل النص إلى سلسلة معرّفات رموز عددية يقرؤها نموذج اللغة، ويحوّل المعرّفات المولَّدة إلى نص من جديد. ولكل نموذج مجزّئه الخاص، فقد يُنتج النص نفسه عددًا مختلفًا من الرموز (التوكنات) في نماذج مختلفة.

[النموذج مفتوح الأوزان (Open-weight model)](https://broadrouter.com/ar/glossary/open-weight-model/)

النموذج مفتوح الأوزان نموذج تعلّم آلي تُنشر أوزانه المدرَّبة ليحمّلها أي أحد ويشغّلها، عادةً بموجب ترخيص له شروط. ويختلف عن الذكاء الاصطناعي مفتوح المصدر بالكامل، الذي يُصدر أيضًا شيفرة التدريب ومعلومات مفصّلة عن بيانات التدريب، ليتمكن الآخرون من دراسة النموذج وإعادة إنتاجه.

[وكيل الذكاء الاصطناعي (AI agent)](https://broadrouter.com/ar/glossary/agent/)

وكيل الذكاء الاصطناعي نظام يوجّه فيه النموذج اللغوي خطواته بنفسه نحو هدف: يقرر أي الأدوات يستدعي، ويقرأ النتائج، ويكرّر حتى يُنتج إجابة نهائية أو يبلغ حدًّا. أما البرنامج الثابت الذي يستدعي النموذج عند نقاط محددة فيُسمّى عادةً سير عمل (workflow).

## أسئلة شائعة

### كم رمزًا تساوي الكلمة الواحدة؟

في مجموعة بيانات المُرمِّزات لدى BroadRouter، التي تجمع خمسة مُرمِّزات (مُرمِّزات نماذج المحادثة الأربعة لدى BroadNet وo200k\_base من OpenAI؛ ويضيف جدول الأمثلة في المقال cl100k\_base)، تساوي 1,000 كلمة إنجليزية نحو 1,290 رمز، أي نحو 1.29 رمز لكل كلمة. والقاعدة الشائعة، 0.75 كلمة لكل رمز، قريبة من الواقع في النثر الإنجليزي. أما العربية والخطوط غير اللاتينية الأخرى والشيفرة فتستهلك رموزًا أكثر لكل كلمة. قِس نصك أنت على النموذج الذي تستدعيه.

### هل أستطيع استخدام tiktoken لحساب رموز DeepSeek أو Qwen أو Gemma؟

للتقدير التقريبي فقط. فمكتبة tiktoken تطبّق ترميزات OpenAI، بينما تأتي عائلات النماذج الأخرى بمُرمِّزاتها الخاصة، وغالبًا على Hugging Face، وتختلف الأعداد. عايِر النتيجة مقابل حقل usage.

### هل توجد أداة مجانية لحساب رموز DeepSeek أو Qwen أو GLM أو Gemma؟

نعم. عدّاد الرموز المجاني من BroadRouter يشغّل المُرمِّزات المنشورة لهذه العائلات داخل متصفحك، فلا يغادر النص جهازك. واعتبر العدد تقديرًا لما ستُبلغ عنه الواجهة، لأن قوالب المحادثة تضيف بضعة رموز.

### ماذا يحدث إذا كان الأمر أطول من نافذة السياق؟

تُعيد معظم الواجهات خطأ. وبعض الأدوات تقصّ الرسائل القديمة بصمت. أما BroadNet فلا تقصّ سياقك، لذا تحقّق من الأمر مع max\_tokens مقابل النافذة قبل الإرسال.

### كم هامشًا أترك لقيمة max\_tokens؟

قدّر أطول إجابة تتوقعها، وأضف ميزانية الاستدلال المنطقي لنماذج التفكير، واترك 10 إلى 20 بالمئة من النافذة فارغة لخطأ التقدير.

## تابع القراءة

-   [عدد الرموز لكل كلمة في العربية والإنجليزية: لماذا تكلّف العربية أكثر؟](https://broadrouter.com/ar/blog/tokens-per-word-arabic-english/)
-   [متى تستحق نافذة سياق بمليون رمز (ومتى لا تستحق)؟](https://broadrouter.com/ar/blog/million-token-context-window-guide/)
-   [كيف تقدّر تكلفة LLM API قبل إطلاق ميزة جديدة](https://broadrouter.com/ar/blog/estimate-llm-api-cost-before-launch/)
-   [كيف تبني الأوامر لتُخزَّن بادئتها مؤقتًا؟](https://broadrouter.com/ar/blog/prompt-structure-for-caching/)
-   [تقليل رموز الأمر: تخفيضات مقيسة لأوامر النظام والأدوات والبيانات](https://broadrouter.com/ar/blog/reduce-prompt-tokens/)
-   [عتاد GPU لدى BroadNet وطريقة تقديم النماذج، كما تصفها BroadNet](https://broadrouter.com/ar/blog/broadnet-gpu-fleet-and-serving/)
-   [تخزين استجابات LLM API مؤقتًا لخفض التكلفة: تطابق تام بـ Python](https://broadrouter.com/ar/blog/cache-llm-responses-cut-cost/)
-   [دليل: لماذا يعيد نموذج الاستدلال إجابة فارغة؟](https://broadrouter.com/ar/guides/reasoning-tokens-empty-response/)
-   [دليل: استخدام OpenAI Python SDK مع BroadNet Inference](https://broadrouter.com/ar/guides/openai-python-sdk/)

جرّبه على مهامك الفعلية. تبدأ الحسابات الجديدة برصيد قدره $5 لاستخدام Gemma والتفريغ الصوتي. أما DeepSeek وGLM وQwen3.8 فتتطلب شحن الرصيد.

[ابدأ الآن](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ar-blog-count-tokens-before-sending&utm_content=page-cta) ·

**المصادر**

-   [ملف README لمكتبة tiktoken: الترميزات ونحو 4 بايتات لكل رمز (تاريخ المراجعة 2026-11-14)](https://github.com/openai/tiktoken)
-   [المرجع التقني لواجهة BroadNet Inference: max\_tokens والاستدلال المنطقي (تاريخ المراجعة 2026-11-14) (بالإنجليزية)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ar-blog-count-tokens-before-sending&utm_content=sources)
-   [أسعار BroadNet Inference وأطوال السياق بصيغة قابلة للقراءة آليًا (pricing.json، تاريخ المراجعة 2026-11-14) (بالإنجليزية)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=ar-blog-count-tokens-before-sending&utm_content=sources)
-   [Hugging Face Transformers: توثيق المُرمِّز (تاريخ المراجعة 2026-11-14)](https://huggingface.co/docs/transformers/main_classes/tokenizer)
