BroadRouter

Uno на Gemma 4 26B: исследование BroadNet по mixture-of-experts

Команда BroadNet Inference · 3 мин чтения · Опубликовано · Обновлено

Препринт BroadNet от сентября 2026 года (DOI 10.5281/zenodo.22820511) обучает первый адаптер Uno для модели mixture-of-experts — Gemma 4 26B A4B в 4-битном инференсе. На 72 промптах из продакшена адаптер декодирует в 1,166 раза быстрее обычного декодирования, уступая двум отдельным драфтерам (1,474 и 1,553), но при контексте около 10 500 токенов обгоняет продакшен-драфтер.

Во втором препринте BroadNet про Uno самодрафтинг впервые применён к модели mixture-of-experts. Работа опубликована на Zenodo 18 сентября 2026 года под DOI 10.5281/zenodo.22820511: в ней Gemma 4 26B A4B запускается в 4-битном формате и для неё обучается адаптер Uno. Целевая модель — та же базовая модель, что у BroadNet Gemma 4 VL 26B в BroadNet Inference.

Это продолжение исследования Uno в инференсе на vLLM, где тестировалась плотная модель на 8B. Числа ниже — данные BroadNet; мы их не воспроизводили.

Какой вопрос ставился?

Спекулятивное декодирование набрасывает черновик из нескольких токенов и проверяет его за один проход. У модели mixture-of-experts есть дополнительный повод для беспокойства: строки черновика могут маршрутизироваться к разным экспертам, и черновик из четырёх токенов может прочитать гораздо больше весов экспертов, чем генерация одного. Статья выясняет, не делает ли этот «expert fan-out» (разброс по экспертам) самодрафтинг слишком дорогим и когда самодрафтинг выигрывает у отдельного драфтера.

Как BroadNet это проверяла?

По аннотации статьи и описанию методов от BroadNet:

  • Модель: Gemma 4 26B A4B, около 4B активных параметров на токен, 4-битные веса.
  • Оборудование: GPU класса 24 ГБ, одна последовательность за раз.
  • Нагрузка: 72 промпта из продакшен-трафика BroadNet; каждое ускорение делится на результат обычного декодирования в той же сессии.
  • Длинный контекст: отдельный набор из пяти промптов примерно по 10 500 токенов.
  • Адаптер: ранг 16, обучен на 965 строках через тот же 4-битный чекпойнт, на котором работает в инференсе, на одном GPU на 24 ГБ, без весов полной точности в цикле.

Что получилось?

Как декодировалась Gemma 4 26B A4B Ускорение относительно обычного декодирования
Обычное декодирование 1,000
Пилотный адаптер Uno, ширина 4 1,166
Драфтер с предсказанием нескольких токенов, ширина 2 1,474
Блочный драфтер, ширина 8 1,553
Uno при контексте около 10 500 токенов 1,089 (драфтер MTP: 1,011)

Другие результаты, о которых сообщает BroadNet:

  • Обучение помогло. Доля принятых токенов выросла с 42,4% до 48,9% за 1500 обновлений, а корпус побольше, на 2000 строк, обученный по тому же рецепту, давал на 0,49 принятого токена черновика больше за шаг проверки, чем сопоставимый опорный прогон.
  • Разброс по экспертам реален, но дёшев. Четыре строки черновика задействовали 22 разных эксперта против 8 у одной строки, но вся стоимость, связанная со строками, не превысила 0,53 шага в цикле примерно из 2,4. BroadNet делает вывод, что маршрутизация стоит «worth under a fifth of a cycle» (перевод: «меньше пятой части цикла») на оборудовании этого класса.
  • Без потерь. BroadNet построила проверку для профиля, чей обычный вывод не воспроизводится сам по себе между сессиями, и сообщает, что Uno «as close to plain as plain is to itself» (перевод: «так же близок к обычному декодированию, как обычное декодирование — к самому себе»).
  • Пять языков. Статья приводит, по её словам, первое измерение доли принятия этого адаптера на пяти языках.

Что это значит на практике?

Правило самой статьи простое: если для вашей модели есть хороший маленький драфтер, используйте его; самодрафтинг оправдывает себя на длинном контексте и на моделях без драфтера. Это совпадает с тем, что, по словам BroadNet, она использует сама: в её каталоге Gemma 4 26B работает в продакшене с драфтером на основе предсказания нескольких токенов (k=2) и «90%+ acceptance on structured prompts» (перевод: «90%+ принятия на структурированных промптах»).

Сколько драфтер даёт в продакшене? Каталог BroadNet сообщает, что предсказание нескольких токенов добавило 48,8% на RTX 3090, а страница Gemma 4 VL 26B указывает около 136 токенов в секунду на одном потоке со спекулятивным декодированием. Оба числа — собственные измерения BroadNet на конфигурации инференса, описанной на странице модели, так что ваша скорость через API зависит ещё и от нагрузки, и от длины промпта и ответа.

Покупателю API полезен здесь метод, а не адаптер. BroadNet говорит, что каждая модель, которую она обслуживает, проходит через этот расчёт, прежде чем попасть к клиенту: измерить стоимость одного цикла черновика, затем выбрать драфтер, который выигрывает на реальной нагрузке. Та же дисциплина привела её к решению отказаться от EAGLE3 для инференса под полной нагрузкой.

Каковы ограничения?

  • Только один поток. Одна последовательность за раз, один прогон на вариант. Пакетный инференс ведёт себя иначе, как показало исследование плотной модели.
  • Одна модель. Результаты относятся к Gemma 4 26B A4B в 4-битном формате на картах класса 24 ГБ.
  • Препринт. Версия 2.3 на Zenodo, рецензирование не проходил, к нему приложен архив с данными.

Релиз v0.3.0 vllm-uno содержит профиль инференса, образ контейнера и запись валидации, так что числа можно проверить. Попробовать саму модель можно в браузерной песочнице BroadNet: там Gemma 4 работает без аккаунта.

Вопросы и ответы

Что такое модель mixture-of-experts (MoE)?

Это модель, в слоях которой много подсетей-экспертов, и на каждый токен работают лишь некоторые из них. У Gemma 4 26B A4B всего 26B параметров и около 4B активных на токен, поэтому для своего размера она дёшева в инференсе.

Почему адаптер Uno здесь медленнее других драфтеров?

Статья объясняет это устройством метода: цикл самодрафтинга стоит двух прямых проходов полной модели, а отдельный драфтер заменяет один из них маленькой сетью. Поэтому выделенный маленький драфтер обычно выигрывает, если он есть.

Когда самодрафтинг окупается?

По данным статьи — на длинном контексте, где более широкий черновик фиксирует больше токенов за цикл (1,089x против 1,011x при контексте около 10 500 токенов), и для моделей, у которых маленького драфтера нет вовсе.

Использует ли BroadNet этот адаптер в своём API Gemma 4?

На странице модели BroadNet сказано, что её сборка Gemma 4 26B работает со спекулятивным декодированием на основе предсказания нескольких токенов (k=2). Адаптер Uno опубликован как исследовательский артефакт; BroadNet не говорит, что обслуживает им трафик API.

Можно ли скачать адаптер?

Да. BroadNet публикует его на Hugging Face как Broadnet/gemma-4-26B-A4B-uno-pilot-adapter, а профиль инференса и образ контейнера — в релизе vllm-uno v0.3.0.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity