BroadNet의 두 번째 Uno 프리프린트는 자기 초안(self-drafting)을 처음으로 전문가 혼합 모델에 적용합니다. 2026년 9월 18일 Zenodo에 DOI 10.5281/zenodo.22820511로 공개된 이 논문은 Gemma 4 26B A4B를 4비트로 서빙하고 이 모델용 Uno 어댑터를 학습합니다. 대상은 BroadNet Inference의 BroadNet Gemma 4 VL 26B와 같은 기반 모델입니다.
이 연구는 밀집(dense) 8B 모델을 시험한 vLLM 서빙에서의 Uno 연구의 후속입니다. 아래 수치는 BroadNet이 발표한 것이며, 저희가 재현하지는 않았습니다.
연구 질문은 무엇이었나요?
추측 디코딩은 토큰 여러 개를 초안으로 만든 뒤 한 번의 패스로 검증합니다. 전문가 혼합 모델에는 걱정거리가 하나 더 있습니다. 초안 행마다 다른 전문가로 라우팅될 수 있어서, 토큰 네 개를 초안으로 만들면 토큰 하나를 생성할 때보다 훨씬 많은 전문가 가중치를 읽게 될 수 있습니다. 논문은 이 “expert fan-out”(전문가 분산)이 자기 초안을 지나치게 비싸게 만드는지, 그리고 자기 초안이 별도 드래프터를 이기는 때가 언제인지 묻습니다.
BroadNet은 어떻게 시험했나요?
논문 초록과 BroadNet의 방법론 설명에 따르면 다음과 같습니다.
- 모델: Gemma 4 26B A4B, 토큰당 활성 파라미터 약 4B, 4비트 가중치.
- 하드웨어: 24GB급 GPU, 한 번에 시퀀스 하나.
- 워크로드: BroadNet 프로덕션 트래픽에서 가져온 프롬프트 72개. 각 속도 향상은 같은 세션의 일반 디코딩 실행으로 나눈 값입니다.
- 긴 컨텍스트: 약 10,500 토큰짜리 프롬프트 5개로 된 별도 세트.
- 어댑터: rank 16, 서빙에 쓰는 것과 같은 4비트 체크포인트를 거쳐 965개 행으로 24GB GPU 한 장에서 학습했으며, 전체 정밀도 가중치는 쓰지 않았습니다.
무엇을 발견했나요?
| Gemma 4 26B A4B 디코딩 방식 | 일반 디코딩 대비 속도 향상 |
|---|---|
| 일반 디코딩 | 1.000 |
| Uno 파일럿 어댑터, 폭 4 | 1.166 |
| 다중 토큰 예측 드래프터, 폭 2 | 1.474 |
| 블록 드래프터, 폭 8 | 1.553 |
| 약 10,500 토큰 컨텍스트의 Uno | 1.089 (MTP 드래프터: 1.011) |
BroadNet이 보고한 그 밖의 결과는 다음과 같습니다.
- 학습이 도움이 되었습니다. 1,500회 업데이트 동안 수락 비율이 42.4%에서 48.9%로 올랐고, 같은 레시피로 학습한 2,000행의 더 큰 코퍼스는 대응하는 기준(anchor) 실행보다 검증 단계당 초안 토큰을 0.49개 더 수락했습니다.
- 전문가 분산은 실재하지만 비용이 작습니다. 초안 행 네 개는 행 하나의 8개에 비해 서로 다른 전문가 22개를 건드렸지만, 행 관련 비용 전체는 약 2.4단계짜리 사이클에서 0.53단계 이내였습니다. BroadNet은 이 등급의 하드웨어에서 라우팅 비용이 “worth under a fifth of a cycle”(번역: 사이클의 5분의 1 미만에 해당한다)고 결론짓습니다.
- 무손실. BroadNet은 일반 출력이 세션마다 똑같이 재현되지 않는 프로필을 위한 검사를 만들었고, Uno가 “as close to plain as plain is to itself”(번역: 일반 디코딩이 스스로와 가까운 만큼 일반 디코딩에 가깝다)고 보고합니다.
- 5개 언어. 논문은 이 어댑터의 5개 언어에 걸친 수락률에 대해 스스로 첫 측정이라고 부르는 결과를 제시합니다.
실제로는 무엇을 의미하나요?
논문이 제시하는 규칙은 단순합니다. 모델에 쓸 만한 소형 드래프터가 있으면 그것을 쓰고, 자기 초안은 긴 컨텍스트와 드래프터가 없는 모델에서 제 몫을 합니다. 이는 BroadNet이 실제로 운영한다고 밝힌 방식과 일치합니다. BroadNet의 카탈로그에는 Gemma 4 26B가 다중 토큰 예측 드래프터(k=2)로 프로덕션에서 운영되며 “90%+ acceptance on structured prompts”(번역: 구조화된 프롬프트에서 90% 이상 수락)라고 적혀 있습니다.
프로덕션에서 드래프터는 얼마나 효과가 있을까요? BroadNet의 카탈로그는 다중 토큰 예측이 RTX 3090에서 48.8%를 더했다고 보고하며, Gemma 4 VL 26B 페이지는 추측 디코딩을 켰을 때 단일 스트림에서 초당 약 136 토큰이라고 밝힙니다. 둘 다 BroadNet이 모델 페이지에서 설명하는 서빙 구성에서 직접 측정한 값이므로, API로 체감하는 속도는 부하와 프롬프트 및 응답 길이에 따라서도 달라집니다.
API 구매자에게 유용한 부분은 어댑터가 아니라 방법론입니다. BroadNet은 서빙하는 모든 모델이 고객에게 가기 전에 이 계산을 거친다고 말합니다. 초안 사이클 한 번의 비용을 측정한 다음, 실제 워크로드에서 이기는 드래프터를 고르는 것입니다. 같은 원칙에 따라 BroadNet은 포화 상태의 서빙에서 EAGLE3를 탈락시켰습니다.
한계는 무엇인가요?
- 단일 스트림만. 한 번에 시퀀스 하나, 비교군마다 실행 한 번. 밀집 모델 연구에서 보았듯이 배치 서빙은 다르게 동작합니다.
- 모델 하나. 결과는 24GB급 카드에서 4비트로 실행한 Gemma 4 26B A4B에 대한 것입니다.
- 프리프린트. Zenodo의 버전 2.3이며, 동료 심사를 거치지 않았고, 근거 자료 아카이브가 함께 첨부되어 있습니다.
vllm-uno 릴리스 v0.3.0에는 서빙 프로필, 컨테이너 이미지, 검증 기록이 포함되어 있어 수치를 직접 확인할 수 있습니다. 서빙 중인 모델 자체를 써 보려면 BroadNet의 브라우저 플레이그라운드에서 계정 없이 Gemma 4를 실행할 수 있습니다.
