BroadRouter

مزيج الخبراء (Mixture of experts، MoE)

آخر تحديث

مزيج الخبراء (mixture of experts، MoE) تصميم للشبكات العصبية تحوي فيه الطبقة شبكات فرعية خبيرة كثيرة، ويرسل موجّه متعلَّم كل رمز إلى عدد قليل منها فقط. ولنموذج اللغة من نوع MoE عدد معاملات كلي كبير، لكنه يستخدم مجموعة فرعية نشطة صغيرة لكل رمز.

يُسمّى أيضًا: مزيج الخبراء، خليط الخبراء، نموذج MoE، MoE متفرق، المعاملات النشطة، mixture of experts، MoE، sparse MoE، mixture-of-experts model، sparse expert model، active parameters

النموذج الكثيف يشغّل كل وزن لكل رمز. أما نموذج مزيج الخبراء فلا يشغّل إلا الخبراء القلائل الذين يختارهم موجّهه.

كيف يعمل

قدّم Shazeer وآخرون طبقة MoE ذات البوابة المتفرقة عام 2017: ما يصل إلى آلاف الشبكات الفرعية الأمامية (feed-forward)، مع “a trainable gating network” (ترجمة: شبكة بوابة قابلة للتدريب) تختار “a sparse combination of these experts” (ترجمة: تركيبة متفرقة من هؤلاء الخبراء) لكل مُدخل. وفي نماذج transformer الحديثة، تصبح الكتلة الأمامية في بعض الطبقات مجموعة من الخبراء. ولكل رمز، يمنح الموجّه الخبراءَ درجات ويرسل الرمز إلى أعلى عدد قليل منهم. وتضيف بعض التصاميم خبيرًا مشتركًا يستخدمه كل رمز.

تُظهر بطاقتا نموذجين الأرقام:

النموذج إجمالي المعاملات النشطة لكل رمز الخبراء
Gemma 4 26B A4B (Google) 25.2B 3.8B 8 نشطة من 128، مع خبير مشترك واحد
DeepSeek V4.1 Flash (DeepSeek) عمود فقري 552B 8B في التعبئة المسبقة، و16B في فك الترميز 6 موجَّهة من 384، مع خبير مشترك واحد

وتقول بطاقة Google إن نموذج 26B A4B “runs almost as fast as a 4B-parameter model.” (ترجمة: يعمل بسرعة تقارب سرعة نموذج من 4 مليارات معامل).

لماذا يهم

  • السرعة والسعر لكل رمز يتبعان المعاملات النشطة، لأنها الحوسبة التي يحتاجها كل رمز. ولهذا يمكن أن يكون نموذج MoE كبيرًا ورخيص التقديم في آن.
  • الذاكرة تتبع إجمالي المعاملات. فكل خبير يجب أن يكون في ذاكرة GPU، لذا يحتاج نموذج MoE إلى مساحة للأوزان بقدر ما يحتاجه نموذج كثيف بالحجم الإجمالي نفسه. والتكميم طريقة شائعة لاستيعابها.
  • الجودة لا تتبع أيًّا من الرقمين بوضوح. قارن النماذج على مهمتك، لا على أعداد المعاملات.

في BroadNet Inference

تقدّم BroadNet نموذج BroadNet Gemma 4 VL 26B بمعرّف النموذج broadnet/gemma-4-26b-a4b، وتصفه بأنه مبني على Gemma 4 من Google. ويُدرج كتالوج نماذجها نسخة الإنتاج على أنها Gemma 4 26B A4B بأوزان AWQ من 4 بتات مع التنبؤ متعدد الرموز. وسعره $0.10 للإدخال و$0.22 للإخراج لكل مليون رمز، وهو النموذج الذي يعمل خلف المفتاح بالساعة. راجع Gemma 4 VL 26B.

أما DeepSeek V4.1 Flash فهو نموذج BroadNet ذو السياق البالغ 1,048,576 رمزًا، والنموذج الوحيد في الخطط ثابتة السعر. وتصميمه القائم على مزيج الخبراء موثّق لدى DeepSeek، لا لدى BroadNet. ولمقارنة النماذج المفتوحة بوصفها فئة، راجع النماذج مفتوحة الأوزان والنماذج مفتوحة الأوزان مقابل المغلقة.

أسئلة شائعة

ماذا يعني A4B في Gemma 4 26B A4B؟

تقول بطاقة نموذج Google إن الحرف "A" يرمز إلى المعاملات النشطة (active). فللنموذج 25.2 مليار معامل إجمالًا، لكنه ينشّط نحو 3.8 مليار لكل رمز.

هل DeepSeek V4.1 Flash نموذج من نوع مزيج الخبراء؟

نعم. تصفه بطاقة نموذج DeepSeek بأنه نموذج MoE متعدد الوسائط بعمود فقري من 552 مليار معامل، وخبير مشترك واحد و384 خبيرًا موجَّهًا في كل طبقة MoE، و6 خبراء موجَّهين نشطين لكل رمز.

هل يحتاج نموذج MoE إلى ذاكرة أقل؟

لا. يجب تحميل جميع الخبراء، لأن أي رمز قد يُوجَّه إلى أيٍّ منهم. فمزيج الخبراء يوفّر الحوسبة لكل رمز، لا ذاكرة الأوزان.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity