---
title: "Gemma 4 26B MoE와 Uno: BroadNet 연구와 DOI | BroadRouter"
description: "BroadNet이 전문가 혼합 모델 Gemma 4 26B A4B용 Uno 자기 초안 어댑터를 처음으로 학습했습니다. 측정 내용, 자기 초안이 유리한 경우, DOI를 정리했습니다."
url: https://broadrouter.com/ko/blog/uno-mixture-of-experts-gemma-4-study/
lang: ko
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/blog/uno-mixture-of-experts-gemma-4-study/) (2026-11-16 업데이트).

# Gemma 4 26B에 적용한 Uno: BroadNet의 전문가 혼합(MoE) 연구

BroadNet Inference 팀 · 3분 분량 · 게시 2026-11-15 · 업데이트 2026-11-16

BroadNet의 2026년 9월 프리프린트(DOI 10.5281/zenodo.22820511)는 4비트로 서빙하는 전문가 혼합 모델 Gemma 4 26B A4B용 Uno 어댑터를 처음으로 학습합니다. 이 어댑터는 72개 프롬프트의 프로덕션 워크로드에서 일반 디코딩보다 1.166배 빠르게 디코딩해 별도 드래프터 두 개(1.474배, 1.553배)에 뒤지지만, 약 10,500 토큰 컨텍스트에서는 프로덕션 드래프터를 앞섭니다.

## 핵심 요약

-   Zenodo 프리프린트, DOI 10.5281/zenodo.22820511, 버전 2.3, 2026년 9월 18일, CC BY 4.0. 동료 심사를 거치지 않았습니다.
-   대상 모델: BroadNet Gemma 4 VL 26B의 기반인 Gemma 4 26B A4B, 4비트 가중치로 서빙.
-   965개 행으로 학습한 rank 16 어댑터가 초안 수락 비율을 42.4%에서 48.9%로 높였습니다.
-   일반 디코딩 대비 속도 향상: Uno 어댑터 1.166배, 다중 토큰 예측 드래프터 1.474배, 블록 드래프터 1.553배.
-   약 10,500 토큰 컨텍스트에서는 어댑터가 프로덕션 드래프터를 1.089배 대 1.011배로 앞섰습니다.

**이 페이지의 내용**

1.  연구 질문은 무엇이었나요?
2.  BroadNet은 어떻게 시험했나요?
3.  무엇을 발견했나요?
4.  실제로는 무엇을 의미하나요?
5.  한계는 무엇인가요?

BroadNet의 두 번째 Uno 프리프린트는 자기 초안(self-drafting)을 처음으로 [전문가 혼합](https://broadrouter.com/ko/glossary/mixture-of-experts/) 모델에 적용합니다. 2026년 9월 18일 Zenodo에 DOI [10.5281/zenodo.22820511](https://doi.org/10.5281/zenodo.22820511)로 공개된 이 논문은 Gemma 4 26B A4B를 4비트로 서빙하고 이 모델용 Uno 어댑터를 학습합니다. 대상은 BroadNet Inference의 [BroadNet Gemma 4 VL 26B](https://broadrouter.com/ko/models/gemma-4-vl-26b/)와 같은 기반 모델입니다.

이 연구는 밀집(dense) 8B 모델을 시험한 [vLLM 서빙에서의 Uno 연구](https://broadrouter.com/ko/blog/uno-in-vllm-serving-study/)의 후속입니다. 아래 수치는 BroadNet이 발표한 것이며, 저희가 재현하지는 않았습니다.

## 연구 질문은 무엇이었나요?

추측 디코딩은 토큰 여러 개를 초안으로 만든 뒤 한 번의 패스로 검증합니다. 전문가 혼합 모델에는 걱정거리가 하나 더 있습니다. 초안 행마다 다른 전문가로 라우팅될 수 있어서, 토큰 네 개를 초안으로 만들면 토큰 하나를 생성할 때보다 훨씬 많은 전문가 가중치를 읽게 될 수 있습니다. 논문은 이 “expert fan-out”(전문가 분산)이 자기 초안을 지나치게 비싸게 만드는지, 그리고 자기 초안이 별도 드래프터를 이기는 때가 언제인지 묻습니다.

## BroadNet은 어떻게 시험했나요?

논문 초록과 BroadNet의 방법론 설명에 따르면 다음과 같습니다.

-   **모델:** Gemma 4 26B A4B, 토큰당 활성 파라미터 약 4B, 4비트 가중치.
-   **하드웨어:** 24GB급 GPU, 한 번에 시퀀스 하나.
-   **워크로드:** BroadNet 프로덕션 트래픽에서 가져온 프롬프트 72개. 각 속도 향상은 같은 세션의 일반 디코딩 실행으로 나눈 값입니다.
-   **긴 컨텍스트:** 약 10,500 토큰짜리 프롬프트 5개로 된 별도 세트.
-   **어댑터:** rank 16, 서빙에 쓰는 것과 같은 4비트 체크포인트를 거쳐 965개 행으로 24GB GPU 한 장에서 학습했으며, 전체 정밀도 가중치는 쓰지 않았습니다.

## 무엇을 발견했나요?

| Gemma 4 26B A4B 디코딩 방식 | 일반 디코딩 대비 속도 향상 |
| --- | --- |
| 일반 디코딩 | 1.000 |
| Uno 파일럿 어댑터, 폭 4 | 1.166 |
| 다중 토큰 예측 드래프터, 폭 2 | 1.474 |
| 블록 드래프터, 폭 8 | 1.553 |
| 약 10,500 토큰 컨텍스트의 Uno | 1.089 (MTP 드래프터: 1.011) |

BroadNet이 보고한 그 밖의 결과는 다음과 같습니다.

-   **학습이 도움이 되었습니다.** 1,500회 업데이트 동안 수락 비율이 42.4%에서 48.9%로 올랐고, 같은 레시피로 학습한 2,000행의 더 큰 코퍼스는 대응하는 기준(anchor) 실행보다 검증 단계당 초안 토큰을 0.49개 더 수락했습니다.
-   **전문가 분산은 실재하지만 비용이 작습니다.** 초안 행 네 개는 행 하나의 8개에 비해 서로 다른 전문가 22개를 건드렸지만, 행 관련 비용 전체는 약 2.4단계짜리 사이클에서 0.53단계 이내였습니다. BroadNet은 이 등급의 하드웨어에서 라우팅 비용이 “worth under a fifth of a cycle”(번역: 사이클의 5분의 1 미만에 해당한다)고 결론짓습니다.
-   **무손실.** BroadNet은 일반 출력이 세션마다 똑같이 재현되지 않는 프로필을 위한 검사를 만들었고, Uno가 “as close to plain as plain is to itself”(번역: 일반 디코딩이 스스로와 가까운 만큼 일반 디코딩에 가깝다)고 보고합니다.
-   **5개 언어.** 논문은 이 어댑터의 5개 언어에 걸친 수락률에 대해 스스로 첫 측정이라고 부르는 결과를 제시합니다.

## 실제로는 무엇을 의미하나요?

논문이 제시하는 규칙은 단순합니다. 모델에 쓸 만한 소형 드래프터가 있으면 그것을 쓰고, 자기 초안은 긴 컨텍스트와 드래프터가 없는 모델에서 제 몫을 합니다. 이는 BroadNet이 실제로 운영한다고 밝힌 방식과 일치합니다. BroadNet의 카탈로그에는 Gemma 4 26B가 다중 토큰 예측 드래프터(k=2)로 프로덕션에서 운영되며 “90%+ acceptance on structured prompts”(번역: 구조화된 프롬프트에서 90% 이상 수락)라고 적혀 있습니다.

프로덕션에서 드래프터는 얼마나 효과가 있을까요? BroadNet의 카탈로그는 다중 토큰 예측이 RTX 3090에서 48.8%를 더했다고 보고하며, Gemma 4 VL 26B 페이지는 추측 디코딩을 켰을 때 단일 스트림에서 초당 약 136 토큰이라고 밝힙니다. 둘 다 BroadNet이 모델 페이지에서 설명하는 서빙 구성에서 직접 측정한 값이므로, API로 체감하는 속도는 부하와 프롬프트 및 응답 길이에 따라서도 달라집니다.

API 구매자에게 유용한 부분은 어댑터가 아니라 방법론입니다. BroadNet은 서빙하는 모든 모델이 고객에게 가기 전에 이 계산을 거친다고 말합니다. 초안 사이클 한 번의 비용을 측정한 다음, 실제 워크로드에서 이기는 드래프터를 고르는 것입니다. 같은 원칙에 따라 BroadNet은 포화 상태의 서빙에서 [EAGLE3를 탈락시켰습니다](https://broadrouter.com/ko/blog/models-broadnet-ruled-out/).

## 한계는 무엇인가요?

-   **단일 스트림만.** 한 번에 시퀀스 하나, 비교군마다 실행 한 번. 밀집 모델 연구에서 보았듯이 배치 서빙은 다르게 동작합니다.
-   **모델 하나.** 결과는 24GB급 카드에서 4비트로 실행한 Gemma 4 26B A4B에 대한 것입니다.
-   **프리프린트.** Zenodo의 버전 2.3이며, 동료 심사를 거치지 않았고, 근거 자료 아카이브가 함께 첨부되어 있습니다.

[vllm-uno](https://github.com/brntech/vllm-uno/releases/tag/v0.3.0) 릴리스 v0.3.0에는 서빙 프로필, 컨테이너 이미지, 검증 기록이 포함되어 있어 수치를 직접 확인할 수 있습니다. 서빙 중인 모델 자체를 써 보려면 BroadNet의 [브라우저 플레이그라운드](https://broadrouter.com/ko/guides/try-broadnet-inference-playground/)에서 계정 없이 Gemma 4를 실행할 수 있습니다.

관련 무료 도구 (영어)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[무료 도구 (영어)](https://broadrouter.com/tools/)

## 이 글의 용어

[전문가 혼합(MoE, mixture of experts)](https://broadrouter.com/ko/glossary/mixture-of-experts/)

전문가 혼합(MoE, mixture of experts)은 한 레이어에 여러 전문가 서브네트워크를 두고, 학습된 라우터가 각 토큰을 그중 몇 개에만 보내는 신경망 설계입니다. MoE 언어 모델은 전체 파라미터 수는 크지만 토큰마다 작은 활성 부분집합만 사용합니다.

[vLLM](https://broadrouter.com/ko/glossary/vllm/)

vLLM은 UC 버클리 Sky Computing Lab에서 처음 개발된 LLM 추론·서빙용 오픈소스 라이브러리입니다. PagedAttention으로 KV 캐시 메모리를 관리하고, 들어오는 요청을 연속적으로 배칭하며, 다양한 양자화 형식을 지원하고, OpenAI 호환 HTTP 서버를 제공합니다.

## 자주 묻는 질문

### 전문가 혼합(MoE) 모델이란 무엇인가요?

층마다 여러 전문가 하위 네트워크가 있고, 토큰마다 그중 몇 개만 실행되는 모델입니다. Gemma 4 26B A4B는 전체 파라미터가 26B이고 토큰당 활성 파라미터는 약 4B이므로, 크기에 비해 서빙 비용이 낮습니다.

### 이 연구에서 Uno 어댑터가 다른 드래프터보다 느린 이유는 무엇인가요?

논문은 이를 구조적인 이유로 설명합니다. 자기 초안 사이클은 전체 모델의 순전파 두 번이 필요하지만, 별도 드래프터는 그중 하나를 작은 네트워크로 대체합니다. 그래서 전용 소형 드래프터가 있다면 보통 그쪽이 이깁니다.

### 자기 초안은 언제 유리한가요?

논문에 따르면 긴 컨텍스트에서 유리합니다. 넓은 초안이 사이클마다 더 많은 토큰을 확정하기 때문입니다(약 10,500 토큰에서 1.089배 대 1.011배). 소형 드래프터가 아예 없는 모델에서도 유리합니다.

### BroadNet은 Gemma 4 API에 이 어댑터를 쓰나요?

BroadNet의 모델 페이지에 따르면 Gemma 4 26B 빌드는 다중 토큰 예측 추측 디코딩(k=2)으로 서빙됩니다. Uno 어댑터는 연구 결과물로 공개되었으며, BroadNet은 이 어댑터로 API 트래픽을 서빙한다고 밝히지 않았습니다.

### 어댑터를 내려받을 수 있나요?

네. BroadNet은 Hugging Face에 Broadnet/gemma-4-26B-A4B-uno-pilot-adapter로 공개했으며, 서빙 프로필과 컨테이너 이미지는 vllm-uno 릴리스 v0.3.0에 있습니다.

## 이어서 읽기

-   [vLLM의 Uno: BroadNet 서빙 연구가 측정한 것](https://broadrouter.com/ko/blog/uno-in-vllm-serving-study/)
-   [BroadNet의 GPU 하드웨어와 서빙 방식: BroadNet이 밝힌 내용](https://broadrouter.com/ko/blog/broadnet-gpu-fleet-and-serving/)
-   [BroadNet이 평가 후 탈락시킨 모델과 그 이유](https://broadrouter.com/ko/blog/models-broadnet-ruled-out/)
-   [100만 토큰 컨텍스트 윈도우, 언제 쓸 만하고 언제 아닌가](https://broadrouter.com/ko/blog/million-token-context-window-guide/)
-   [LLM API 응답 캐싱으로 비용 줄이기: Python 정확 일치 캐시](https://broadrouter.com/ko/blog/cache-llm-responses-cut-cost/)
-   [문서 AI 워크플로에 사람의 검토 단계 넣기](https://broadrouter.com/ko/blog/document-review-queues/)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-uno-mixture-of-experts-gemma-4-study&utm_content=page-cta) ·

**출처**

-   [Al Zubaidi, Self-drafting with Uno on a mixture of experts: serving and training an adapter for Gemma 4 26B A4B, Zenodo 프리프린트 v2.3, 2026-09-18 (2026-11-15 레코드 확인)](https://doi.org/10.5281/zenodo.22820511)
-   [BroadNet 블로그, Uno for vLLM now runs mixture-of-experts models (2026년 9월 17일; 2026-11-15 확인) (영어)](https://www.broadnet.ai/blog/uno-mixture-of-experts)
-   [BroadNet Research: 주요 결과 (2026-11-15 확인) (영어)](https://www.broadnet.ai/research)
-   [vllm-uno 릴리스 v0.3.0 (2026-11-15 확인)](https://github.com/brntech/vllm-uno/releases/tag/v0.3.0)
-   [BroadNet Gemma 4 VL 26B 모델 페이지: 서빙 구성 (2026-11-15 확인) (영어)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
