BroadRouter

حجم المفردات (Vocabulary size)

آخر تحديث

حجم المفردات هو عدد الرموز (التوكنز) المختلفة في مجزّئ النموذج اللغوي، لكل منها معرّف وتضمين خاص. والمفردات الأكبر قد ترمّز النص الشائع برموز أقل، لكنها تكبّر طبقتي التضمين والإخراج، ولا تفيد إلا مع النص الذي دُرّبت عليه المفردات.

يُسمّى أيضًا: حجم المفردات، حجم القاموس، مفردات المجزّئ، مفردات التوكنايزر، عدد الرموز في المجزّئ، vocabulary size، vocab size، vocab_size، tokenizer vocabulary، token vocabulary

يخبرك حجم المفردات كم قطعة نصية مختلفة يستطيع النموذج تمثيلها برمز واحد.

كيف يعمل

مفردات مجزّئ BPE هي رموزه الأساسية مضافًا إليها كل عملية دمج تعلّمها. ويضرب توثيق Hugging Face مثالًا بنموذج GPT الأصلي: 478 رمزًا أساسيًا + 40,000 عملية دمج = 40,478. ويختار مَن يبني المجزّئ الحجم المستهدف قبل التدريب.

قرأنا المفردات من ملف tokenizer.json المثبّت لكل نموذج على Hugging Face في 2026-11-14:

المجزّئ مدخلات المفردات إجمالي المعرّفات مع الرموز الخاصة
DeepSeek V4.1 Flash 128,000 129,280
GLM 5.3 154,820 154,856
Qwen3.8 27B 248,044 248,077
Gemma 4 26B A4B (نسخة Google الأساسية) 262,144 262,144
OpenAI o200k_base (للمرجعية) 199,998 200,019

تذكر بطاقة نموذج Gemma 4 مفردات بحجم 262K، وهذا يطابق القياس. وتذكر بطاقة Qwen3.8 حجم تضمين قدره 248,320 “padded” (ترجمة: مُبطَّن)، وهو أكبر من 248,077 معرّفًا مستخدمًا فعلًا.

لماذا يهم

لمستخدم الـ API، حجم المفردات مؤشر غير مباشر على التكلفة لكل كلمة. والمهم هو النص الذي دُرّبت عليه عمليات الدمج. قارن عدد الرموز لكل 100 كلمة للكلمات نفسها البالغ عددها 39,037 من العربية الفصحى المعاصرة في مجموعة بيانات المجزّئات لدينا:

  • DeepSeek V4.1 Flash، 128,000 مدخل: 86,690 / 39,037 x 100 = 222.1
  • GLM 5.3، 154,820 مدخلًا: 95,230 / 39,037 x 100 = 243.9
  • Qwen3.8 27B، 248,044 مدخلًا: 71,424 / 39,037 x 100 = 183.0
  • Gemma 4، 262,144 مدخلًا: 79,120 / 39,037 x 100 = 202.7

لدى GLM 5.3 مدخلات أكثر من DeepSeek، لكنه يستخدم رموزًا أكثر على هذا النص. ولدى Gemma أكبر عدد من المدخلات، لكنه ليس الأكثر إيجازًا. أما للنثر الإنجليزي فتقع النماذج الخمسة كلها بين 127 و132 رمزًا لكل 100 كلمة، فلا يكاد حجم المفردات يهم هناك.

القاعدة: قِس نصك أنت بمجزّئ النموذج بدل أن تستنتج التكلفة من رقم المفردات.

في BroadNet Inference

لا تنشر BroadNet أحجام المفردات؛ والأرقام أعلاه مأخوذة من مستودعات النماذج العامة. ويستخدم صف Gemma مجزّئ Google الأساسي، ونفترض أن نسخة BroadNet من Gemma 4 VL 26B تحتفظ به. ولترى الأثر على موجّهاتك، استخدم عدّاد الرموز، ولاختيار نموذج للعربية اقرأ اختيار نموذج لغوي للعربية مع دراسة الرموز لكل كلمة.

أسئلة شائعة

هل تعني المفردات الأكبر رموزًا أقل؟

غالبًا، لكن ليس دائمًا. في اختبارنا بتاريخ 2026-11-14، يملك Gemma 4 أكبر مفردات (262,144)، ومع ذلك استخدم 347 رمزًا لنص عربي رمّزه Qwen3.8 27B، بمفرداته البالغة 248,044 مدخلًا، في 316 رمزًا.

لماذا يختلف vocab_size عن ملف المجزّئ؟

كثيرًا ما تُبطِّن إعدادات النموذج جدول التضمين إلى عدد مقرّب، وتحجز معرّفات للرموز الخاصة. فـ Qwen3.8 27B يذكر حجمًا مُبطَّنًا قدره 248,320، بينما يستخدم ملف tokenizer.json الخاص به المعرّفات من 0 إلى 248,076 (تبدأ المعرّفات من 0)، أي 248,077 معرّفًا إجمالًا.

أين أجد حجم مفردات النموذج؟

في ملف config.json الخاص بالنموذج تحت vocab_size، أو بتحميل ملف tokenizer.json وعدّ مدخلاته. وقيمة الإعدادات كثيرًا ما تكون مُبطَّنة، فملف المجزّئ يعطي العدد الدقيق للرموز المستخدمة.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity