---
title: "Uno на Gemma 4 26B MoE: исследование BroadNet и DOI | BroadRouter"
description: "BroadNet обучила первый самодрафтовый адаптер Uno для MoE-модели Gemma 4 26B A4B. Что измерено, когда самодрафтинг окупается, и DOI препринта."
url: https://broadrouter.com/ru/blog/uno-mixture-of-experts-gemma-4-study/
lang: ru
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/blog/uno-mixture-of-experts-gemma-4-study/) (обновлён 2026-11-16).

# Uno на Gemma 4 26B: исследование BroadNet по mixture-of-experts

Команда BroadNet Inference · 3 мин чтения · Опубликовано 2026-11-15 · Обновлено 2026-11-16

Препринт BroadNet от сентября 2026 года (DOI 10.5281/zenodo.22820511) обучает первый адаптер Uno для модели mixture-of-experts — Gemma 4 26B A4B в 4-битном инференсе. На 72 промптах из продакшена адаптер декодирует в 1,166 раза быстрее обычного декодирования, уступая двум отдельным драфтерам (1,474 и 1,553), но при контексте около 10 500 токенов обгоняет продакшен-драфтер.

## Главное

-   Препринт на Zenodo, DOI 10.5281/zenodo.22820511, версия 2.3, 18 сентября 2026 года, CC BY 4.0. Рецензирование не проходил.
-   Целевая модель: Gemma 4 26B A4B, основа BroadNet Gemma 4 VL 26B, с 4-битными весами.
-   Адаптер ранга 16, обученный на 965 строках, поднял долю принятых черновиков с 42,4% до 48,9%.
-   Ускорение относительно обычного декодирования: 1,166x у адаптера Uno, 1,474x у драфтера с предсказанием нескольких токенов, 1,553x у блочного драфтера.
-   При контексте около 10 500 токенов адаптер обогнал продакшен-драфтер: 1,089x против 1,011x.

**На этой странице**

1.  Какой вопрос ставился?
2.  Как BroadNet это проверяла?
3.  Что получилось?
4.  Что это значит на практике?
5.  Каковы ограничения?

Во втором препринте BroadNet про Uno самодрафтинг впервые применён к модели [mixture-of-experts](https://broadrouter.com/ru/glossary/mixture-of-experts/). Работа опубликована на Zenodo 18 сентября 2026 года под DOI [10.5281/zenodo.22820511](https://doi.org/10.5281/zenodo.22820511): в ней Gemma 4 26B A4B запускается в 4-битном формате и для неё обучается адаптер Uno. Целевая модель — та же базовая модель, что у [BroadNet Gemma 4 VL 26B](https://broadrouter.com/ru/models/gemma-4-vl-26b/) в BroadNet Inference.

Это продолжение [исследования Uno в инференсе на vLLM](https://broadrouter.com/ru/blog/uno-in-vllm-serving-study/), где тестировалась плотная модель на 8B. Числа ниже — данные BroadNet; мы их не воспроизводили.

## Какой вопрос ставился?

Спекулятивное декодирование набрасывает черновик из нескольких токенов и проверяет его за один проход. У модели mixture-of-experts есть дополнительный повод для беспокойства: строки черновика могут маршрутизироваться к разным экспертам, и черновик из четырёх токенов может прочитать гораздо больше весов экспертов, чем генерация одного. Статья выясняет, не делает ли этот «expert fan-out» (разброс по экспертам) самодрафтинг слишком дорогим и когда самодрафтинг выигрывает у отдельного драфтера.

## Как BroadNet это проверяла?

По аннотации статьи и описанию методов от BroadNet:

-   **Модель:** Gemma 4 26B A4B, около 4B активных параметров на токен, 4-битные веса.
-   **Оборудование:** GPU класса 24 ГБ, одна последовательность за раз.
-   **Нагрузка:** 72 промпта из продакшен-трафика BroadNet; каждое ускорение делится на результат обычного декодирования в той же сессии.
-   **Длинный контекст:** отдельный набор из пяти промптов примерно по 10 500 токенов.
-   **Адаптер:** ранг 16, обучен на 965 строках через тот же 4-битный чекпойнт, на котором работает в инференсе, на одном GPU на 24 ГБ, без весов полной точности в цикле.

## Что получилось?

| Как декодировалась Gemma 4 26B A4B | Ускорение относительно обычного декодирования |
| --- | --- |
| Обычное декодирование | 1,000 |
| Пилотный адаптер Uno, ширина 4 | 1,166 |
| Драфтер с предсказанием нескольких токенов, ширина 2 | 1,474 |
| Блочный драфтер, ширина 8 | 1,553 |
| Uno при контексте около 10 500 токенов | 1,089 (драфтер MTP: 1,011) |

Другие результаты, о которых сообщает BroadNet:

-   **Обучение помогло.** Доля принятых токенов выросла с 42,4% до 48,9% за 1500 обновлений, а корпус побольше, на 2000 строк, обученный по тому же рецепту, давал на 0,49 принятого токена черновика больше за шаг проверки, чем сопоставимый опорный прогон.
-   **Разброс по экспертам реален, но дёшев.** Четыре строки черновика задействовали 22 разных эксперта против 8 у одной строки, но вся стоимость, связанная со строками, не превысила 0,53 шага в цикле примерно из 2,4. BroadNet делает вывод, что маршрутизация стоит «worth under a fifth of a cycle» (перевод: «меньше пятой части цикла») на оборудовании этого класса.
-   **Без потерь.** BroadNet построила проверку для профиля, чей обычный вывод не воспроизводится сам по себе между сессиями, и сообщает, что Uno «as close to plain as plain is to itself» (перевод: «так же близок к обычному декодированию, как обычное декодирование — к самому себе»).
-   **Пять языков.** Статья приводит, по её словам, первое измерение доли принятия этого адаптера на пяти языках.

## Что это значит на практике?

Правило самой статьи простое: если для вашей модели есть хороший маленький драфтер, используйте его; самодрафтинг оправдывает себя на длинном контексте и на моделях без драфтера. Это совпадает с тем, что, по словам BroadNet, она использует сама: в её каталоге Gemma 4 26B работает в продакшене с драфтером на основе предсказания нескольких токенов (k=2) и «90%+ acceptance on structured prompts» (перевод: «90%+ принятия на структурированных промптах»).

Сколько драфтер даёт в продакшене? Каталог BroadNet сообщает, что предсказание нескольких токенов добавило 48,8% на RTX 3090, а страница Gemma 4 VL 26B указывает около 136 токенов в секунду на одном потоке со спекулятивным декодированием. Оба числа — собственные измерения BroadNet на конфигурации инференса, описанной на странице модели, так что ваша скорость через API зависит ещё и от нагрузки, и от длины промпта и ответа.

Покупателю API полезен здесь метод, а не адаптер. BroadNet говорит, что каждая модель, которую она обслуживает, проходит через этот расчёт, прежде чем попасть к клиенту: измерить стоимость одного цикла черновика, затем выбрать драфтер, который выигрывает на реальной нагрузке. Та же дисциплина привела её к решению [отказаться от EAGLE3](https://broadrouter.com/ru/blog/models-broadnet-ruled-out/) для инференса под полной нагрузкой.

## Каковы ограничения?

-   **Только один поток.** Одна последовательность за раз, один прогон на вариант. Пакетный инференс ведёт себя иначе, как показало исследование плотной модели.
-   **Одна модель.** Результаты относятся к Gemma 4 26B A4B в 4-битном формате на картах класса 24 ГБ.
-   **Препринт.** Версия 2.3 на Zenodo, рецензирование не проходил, к нему приложен архив с данными.

Релиз v0.3.0 [vllm-uno](https://github.com/brntech/vllm-uno/releases/tag/v0.3.0) содержит профиль инференса, образ контейнера и запись валидации, так что числа можно проверить. Попробовать саму модель можно в [браузерной песочнице](https://broadrouter.com/ru/guides/try-broadnet-inference-playground/) BroadNet: там Gemma 4 работает без аккаунта.

Бесплатные инструменты по теме (на английском)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Бесплатные инструменты (на английском)](https://broadrouter.com/tools/)

## Термины в этой статье

[Prefill и decode (префилл и декодирование)](https://broadrouter.com/ru/glossary/prefill-and-decode/)

Prefill и decode — это две фазы инференса LLM. На этапе prefill модель параллельно обрабатывает весь промпт и заполняет KV-кэш; на этапе decode она генерирует ответ по одному токену, повторно используя этот кэш. Prefill в основном определяет время до первого токена, decode — скорость вывода.

[Спекулятивное декодирование (speculative decoding)](https://broadrouter.com/ru/glossary/speculative-decoding/)

Спекулятивное декодирование — это техника инференса, при которой небольшая быстрая черновая модель предлагает несколько следующих токенов, а большая целевая модель проверяет их за один прямой проход и оставляет принятые. Генерация ускоряется, а распределение выходных токенов не меняется.

[Контекстное окно (context window)](https://broadrouter.com/ru/glossary/context-window/)

Контекстное окно — это максимальное число токенов, с которым языковая модель может работать в одном запросе. В него входят промпт, история диалога, описания инструментов, изображения и сгенерированный ответ, включая токены рассуждений. Всё, что не помещается, приходится обрезать, сжимать в краткое изложение или делить на несколько запросов.

[Токены в секунду (tokens per second, TPS)](https://broadrouter.com/ru/glossary/tokens-per-second/)

Токены в секунду (TPS) — это скорость, с которой языковая модель генерирует выходные токены; обычно её измеряют для одного запроса после прихода первого токена. Она определяет, как быстро стримится начавшийся ответ. В сумме по всем параллельным запросам это пропускная способность системы; ожидание первого токена измеряют отдельно.

[INT4](https://broadrouter.com/ru/glossary/int4/)

INT4 — это 4-битный целочисленный формат, способный представить 16 уровней. В инференсе LLM под ним обычно понимают 4-битную квантизацию только весов (W4A16): веса хранятся в INT4 с коэффициентами масштабирования и разворачиваются в 16 бит во время вычислений, занимая примерно четверть памяти 16-битных весов.

[RAG (генерация, дополненная поиском)](https://broadrouter.com/ru/glossary/rag/)

RAG (retrieval-augmented generation, генерация, дополненная поиском) — это подход, при котором приложение сначала находит во внешнем хранилище, например поисковом или векторном индексе, фрагменты, относящиеся к вопросу, а затем добавляет их в промпт, чтобы языковая модель отвечала по этому тексту, а не только по памяти.

[vLLM](https://broadrouter.com/ru/glossary/vllm/)

vLLM — это библиотека с открытым кодом для инференса и сервинга LLM, изначально созданная в Sky Computing Lab Калифорнийского университета в Беркли. Она управляет памятью KV-кэша с помощью PagedAttention, непрерывно батчит входящие запросы, поддерживает многие форматы квантизации и предоставляет OpenAI-совместимый HTTP-сервер.

## Вопросы и ответы

### Что такое модель mixture-of-experts (MoE)?

Это модель, в слоях которой много подсетей-экспертов, и на каждый токен работают лишь некоторые из них. У Gemma 4 26B A4B всего 26B параметров и около 4B активных на токен, поэтому для своего размера она дёшева в инференсе.

### Почему адаптер Uno здесь медленнее других драфтеров?

Статья объясняет это устройством метода: цикл самодрафтинга стоит двух прямых проходов полной модели, а отдельный драфтер заменяет один из них маленькой сетью. Поэтому выделенный маленький драфтер обычно выигрывает, если он есть.

### Когда самодрафтинг окупается?

По данным статьи — на длинном контексте, где более широкий черновик фиксирует больше токенов за цикл (1,089x против 1,011x при контексте около 10 500 токенов), и для моделей, у которых маленького драфтера нет вовсе.

### Использует ли BroadNet этот адаптер в своём API Gemma 4?

На странице модели BroadNet сказано, что её сборка Gemma 4 26B работает со спекулятивным декодированием на основе предсказания нескольких токенов (k=2). Адаптер Uno опубликован как исследовательский артефакт; BroadNet не говорит, что обслуживает им трафик API.

### Можно ли скачать адаптер?

Да. BroadNet публикует его на Hugging Face как Broadnet/gemma-4-26B-A4B-uno-pilot-adapter, а профиль инференса и образ контейнера — в релизе vllm-uno v0.3.0.

## Читайте также

-   [Uno в vLLM: что измерило исследование инференса BroadNet](https://broadrouter.com/ru/blog/uno-in-vllm-serving-study/)
-   [GPU-парк и подход к инференсу BroadNet — по описанию самой BroadNet](https://broadrouter.com/ru/blog/broadnet-gpu-fleet-and-serving/)
-   [Какие модели BroadNet протестировала и отбраковала и почему](https://broadrouter.com/ru/blog/models-broadnet-ruled-out/)
-   [Когда контекстное окно на 1 млн токенов оправдано (а когда нет)](https://broadrouter.com/ru/blog/million-token-context-window-guide/)
-   [Кэширование ответов LLM API: кэш точных совпадений на Python](https://broadrouter.com/ru/blog/cache-llm-responses-cut-cost/)
-   [Ручная проверка в распознавании документов с помощью ИИ](https://broadrouter.com/ru/blog/document-review-queues/)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-uno-mixture-of-experts-gemma-4-study&utm_content=page-cta) ·

**Источники**

-   [Al Zubaidi, Self-drafting with Uno on a mixture of experts: serving and training an adapter for Gemma 4 26B A4B, препринт Zenodo v2.3, 2026-09-18 (запись получена 2026-11-15)](https://doi.org/10.5281/zenodo.22820511)
-   [Блог BroadNet, Uno for vLLM now runs mixture-of-experts models (17 сентября 2026; дата обращения 2026-11-15) (на английском)](https://www.broadnet.ai/blog/uno-mixture-of-experts)
-   [BroadNet Research: ключевые результаты (дата обращения 2026-11-15) (на английском)](https://www.broadnet.ai/research)
-   [Релиз vllm-uno v0.3.0 (дата обращения 2026-11-15)](https://github.com/brntech/vllm-uno/releases/tag/v0.3.0)
-   [Страница модели BroadNet Gemma 4 VL 26B: конфигурация инференса (дата обращения 2026-11-15) (на английском)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
