يخبرك حجم المفردات كم قطعة نصية مختلفة يستطيع النموذج تمثيلها برمز واحد.
كيف يعمل
مفردات مجزّئ BPE هي رموزه الأساسية مضافًا إليها كل عملية دمج تعلّمها. ويضرب توثيق Hugging Face مثالًا بنموذج GPT الأصلي: 478 رمزًا أساسيًا + 40,000 عملية دمج = 40,478. ويختار مَن يبني المجزّئ الحجم المستهدف قبل التدريب.
قرأنا المفردات من ملف tokenizer.json المثبّت لكل نموذج على Hugging Face في 2026-11-14:
| المجزّئ | مدخلات المفردات | إجمالي المعرّفات مع الرموز الخاصة |
|---|---|---|
| DeepSeek V4.1 Flash | 128,000 | 129,280 |
| GLM 5.3 | 154,820 | 154,856 |
| Qwen3.8 27B | 248,044 | 248,077 |
| Gemma 4 26B A4B (نسخة Google الأساسية) | 262,144 | 262,144 |
| OpenAI o200k_base (للمرجعية) | 199,998 | 200,019 |
تذكر بطاقة نموذج Gemma 4 مفردات بحجم 262K، وهذا يطابق القياس. وتذكر بطاقة Qwen3.8 حجم تضمين قدره 248,320 “padded” (ترجمة: مُبطَّن)، وهو أكبر من 248,077 معرّفًا مستخدمًا فعلًا.
لماذا يهم
لمستخدم الـ API، حجم المفردات مؤشر غير مباشر على التكلفة لكل كلمة. والمهم هو النص الذي دُرّبت عليه عمليات الدمج. قارن عدد الرموز لكل 100 كلمة للكلمات نفسها البالغ عددها 39,037 من العربية الفصحى المعاصرة في مجموعة بيانات المجزّئات لدينا:
- DeepSeek V4.1 Flash، 128,000 مدخل: 86,690 / 39,037 x 100 = 222.1
- GLM 5.3، 154,820 مدخلًا: 95,230 / 39,037 x 100 = 243.9
- Qwen3.8 27B، 248,044 مدخلًا: 71,424 / 39,037 x 100 = 183.0
- Gemma 4، 262,144 مدخلًا: 79,120 / 39,037 x 100 = 202.7
لدى GLM 5.3 مدخلات أكثر من DeepSeek، لكنه يستخدم رموزًا أكثر على هذا النص. ولدى Gemma أكبر عدد من المدخلات، لكنه ليس الأكثر إيجازًا. أما للنثر الإنجليزي فتقع النماذج الخمسة كلها بين 127 و132 رمزًا لكل 100 كلمة، فلا يكاد حجم المفردات يهم هناك.
القاعدة: قِس نصك أنت بمجزّئ النموذج بدل أن تستنتج التكلفة من رقم المفردات.
في BroadNet Inference
لا تنشر BroadNet أحجام المفردات؛ والأرقام أعلاه مأخوذة من مستودعات النماذج العامة. ويستخدم صف Gemma مجزّئ Google الأساسي، ونفترض أن نسخة BroadNet من Gemma 4 VL 26B تحتفظ به. ولترى الأثر على موجّهاتك، استخدم عدّاد الرموز، ولاختيار نموذج للعربية اقرأ اختيار نموذج لغوي للعربية مع دراسة الرموز لكل كلمة.