---
title: "vLLM의 Uno: BroadNet 서빙 연구, DOI, 결과 | BroadRouter"
description: "BroadNet이 Uno 자기 초안 어댑터를 vLLM에 통합하고 H100에서 측정했습니다. 스트림 1개에서 일반 처리량의 2.58배, 32개에서 1.74배. 방법, DOI, 한계를 정리했습니다."
url: https://broadrouter.com/ko/blog/uno-in-vllm-serving-study/
lang: ko
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/blog/uno-in-vllm-serving-study/) (2026-11-15 업데이트).

# vLLM의 Uno: BroadNet 서빙 연구가 측정한 것

BroadNet Inference 팀 · 4분 분량 · 게시 2026-11-15

vLLM의 Uno는 BroadNet이 2026년 9월에 발표한 프리프린트(DOI 10.5281/zenodo.22652610)입니다. 모델이 자신의 토큰을 직접 초안으로 만들게 하는 어댑터인 Uno를 vLLM에 추가합니다. BroadNet은 H100과 Qwen3-8B에서 일반 vLLM 대비 처리량을 스트림 1개에서 2.58배, 8개에서 2.20배, 32개에서 1.74배로 측정했으며, 이는 레퍼런스 구현과 3% 이내 차이입니다.

## 핵심 요약

-   논문은 Zenodo의 프리프린트로, DOI 10.5281/zenodo.22652610, 2026년 9월 8일 CC BY 4.0으로 공개되었습니다. 동료 심사를 거치지 않았습니다.
-   Uno는 IFM의 방법이며, BroadNet의 기여는 네이티브 vLLM 통합과 서빙 측정입니다.
-   통제된 H100과 Qwen3-8B 수학 워크로드에서: 스트림 1개 일반 vLLM 대비 2.58배, 8개 2.20배, 32개 1.74배.
-   프로덕션 설정에서는 스트림 32개에서 초당 7,657 토큰으로, SGLang 레퍼런스의 7,505 토큰과 비교됩니다.
-   이 향상은 모델 하나, 워크로드 하나, 특정 설정에 대한 것입니다. 믿고 쓰기 전에 자체 트래픽으로 측정하세요.

**이 페이지의 내용**

1.  Uno는 어떤 문제를 다루나요?
2.  BroadNet은 무엇을 만들었나요?
3.  어떻게 측정했나요?
4.  연구 결과는 무엇인가요?
5.  한계는 무엇인가요?
6.  API만 호출한다면 왜 중요한가요?

vLLM의 Uno는 BroadNet 연구 부문이 2026년 9월 8일 Zenodo에 DOI [10.5281/zenodo.22652610](https://doi.org/10.5281/zenodo.22652610)로 공개한 프리프린트입니다. IFM이 개발한 추측 디코딩 방법인 Uno를 vLLM에 네이티브로 구현한 내용을 보고하고, 일반 vLLM보다 얼마나 빠르게 서빙하는지 측정합니다. Zenodo 레코드에는 저자가 Mohammad Al Zubaidi로 올라 있습니다.

이 글은 논문의 주장, 측정 방법, 그리고 논문이 알려 주는 것과 알려 주지 않는 것을 정리합니다. 수치는 BroadNet의 것이며, 저희가 재현하지는 않았습니다.

## Uno는 어떤 문제를 다루나요?

언어 모델은 보통 순전파 한 번에 토큰 하나를 생성합니다. 추측 디코딩은 토큰 여러 개를 미리 추측하고 전체 모델의 패스 한 번으로 확인해서 이를 빠르게 합니다. 대부분의 방법은 별도의 작은 초안 모델을 씁니다. Uno는 대신 학습된 어댑터를 모델 자체에 붙여서, 모델이 자신의 토큰을 초안으로 만든 다음 원래 가중치로 검증하게 합니다. 일반적인 개념은 [추측 디코딩](https://broadrouter.com/ko/glossary/speculative-decoding/)을 참고하세요.

논문의 질문은 실용적입니다. 배치, 캐싱, 다수의 동시 요청이 있는 프로덕션 서빙 엔진 안에서도 그 속도 향상이 살아남을까요?

## BroadNet은 무엇을 만들었나요?

BroadNet의 블로그 글은 공로를 분명히 밝힙니다. 방법은 “Uno, developed by IFM and collaborators”(번역: IFM과 공동 연구자들이 개발한 Uno)이고, BroadNet의 기여는 “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation”(번역: 네이티브 vLLM 통합, 실행 경로가 함께 작동하게 만드는 엔지니어링, 그리고 서빙 평가)입니다. 초록은 실행 구성 요소를 나열합니다. 조건부 어댑터 라우팅, 완전한 초안 키/값 상태, 비동기 스케줄링, CUDA 그래프 재실행, 어댑터 연산 중첩, 시드 행 재사용입니다.

코드는 BroadNet의 [vllm-uno 저장소](https://github.com/brntech/vllm-uno)에 공개되어 있으며, BroadNet은 이를 vLLM 업스트림에 풀 리퀘스트 55947로 제안했습니다.

## 어떻게 측정했나요?

주요 실험은 통제된 실험입니다.

-   **하드웨어와 모델:** NVIDIA H100 한 장, bfloat16의 Qwen3-8B, 공개된 Qwen3-8B Uno 어댑터.
-   **워크로드:** 수학 프롬프트 8개를 반복해 더 큰 배치를 채우고, 각각 최대 512 토큰을 생성하며, 프리픽스 캐싱은 끔.
-   **기준선:** 같은 구성의 일반 자기회귀 vLLM(“plain vLLM”).
-   **동시성:** 동시 스트림 1, 8, 32개.

두 번째 별도 비교에서는 프리픽스 캐싱을 켜고 BroadNet이 선택한 서빙 설정을 써서 SGLang 레퍼런스 구현과 비교합니다.

## 연구 결과는 무엇인가요?

| 측정 항목 | BroadNet이 보고한 결과 |
| --- | --- |
| 일반 vLLM 대비 처리량, 스트림 1개 | 2.58배 |
| 일반 vLLM 대비 처리량, 스트림 8개 | 2.20배 |
| 일반 vLLM 대비 처리량, 스트림 32개 | 1.74배 |
| SGLang 레퍼런스 구현과의 차이 | 스트림 1, 8, 32개에서 3% 이내 |
| 프로덕션 설정, 스트림 32개 | 초당 7,657 토큰, SGLang은 7,505 토큰(2.0% 앞섬) |
| 웜 상태 첫 토큰 지연 시간, vLLM 내 절제 실험 | API 프로세스를 1개 대신 2개로 했을 때 25% 낮음 |

용량 계획에서 핵심은 첫 번째 묶음의 마지막 행입니다. 같은 GPU로 동시 스트림 32개에서 초당 출력이 74% 늘어납니다. BroadNet의 블로그가 이를 “the central payoff”(번역: 핵심 성과)라고 부르는 이유는, 부하가 걸리면 사라지는 속도 향상은 공유 API에 별 도움이 되지 않기 때문입니다.

이후 릴리스(v0.2.0, vLLM의 Model Runner V2 기반)는 BroadNet 블로그에서 단일 스트림 출력이 Blackwell에서 2.1~2.4배, Ampere에서 1.7~1.9배, Hopper에서 2.6배라고 설명됩니다. 논문의 주요 표와 하드웨어와 버전이 다르기 때문에 수치도 다릅니다.

## 한계는 무엇인가요?

-   **모델 하나, 워크로드 하나.** 통제 실험 결과는 수학 프롬프트에 대한 Qwen3-8B입니다. 코드, 채팅, 긴 문서에서는 수락되는 초안 토큰이 더 적을 수 있습니다.
-   **부하가 늘면 향상 폭이 줄어듭니다.** 2.58배에서 1.74배로 줄어드는 추세는 예상된 모양입니다. GPU가 바빠지면 초안에 쓸 여유 연산이 바닥납니다.
-   **프리프린트.** 논문은 Zenodo에 등록되었으며 동료 심사를 거치지 않았습니다. 함께 첨부된 아카이브에 근거 목록과 그림 데이터가 들어 있어 다른 사람이 검증할 수 있습니다.
-   **자체 보고.** 두 비교군 모두 BroadNet이 실행했습니다. 레퍼런스 구현과 3% 이내로 일치한다는 것이 이에 대한 논문 자체의 검증입니다.

## API만 호출한다면 왜 중요한가요?

GPU당 처리량은 제공업체가 매길 수 있는 가격과 부하 상태에서의 응답 속도를 결정합니다. BroadNet의 카탈로그에 따르면 BroadNet은 초안 방법을 고르기 전에 실제 동시성에서 측정하며, EAGLE3가 동시 요청 32개에서 처리량의 69%를 잃은 뒤 이를 탈락시켰습니다. [Gemma 4 26B 후속 연구](https://broadrouter.com/ko/blog/uno-mixture-of-experts-gemma-4-study/)는 BroadNet이 [Gemma 4 VL 26B](https://broadrouter.com/ko/models/gemma-4-vl-26b/)로 판매하는 전문가 혼합 모델에 같은 방법을 적용합니다. 이것이 BroadNet의 전반적인 서빙 선택과 어떻게 맞물리는지는 [BroadNet의 GPU 하드웨어와 서빙 방식](https://broadrouter.com/ko/blog/broadnet-gpu-fleet-and-serving/)을 참고하세요.

자체 vLLM 서버를 운영한다면 실무적인 교훈은 이렇습니다. 어떤 초안 방법이든 스트림 하나가 아니라 실제로 운영하는 동시성에서 벤치마크하세요.

관련 무료 도구 (영어)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[무료 도구 (영어)](https://broadrouter.com/tools/)

## 이 글의 용어

[vLLM](https://broadrouter.com/ko/glossary/vllm/)

vLLM은 UC 버클리 Sky Computing Lab에서 처음 개발된 LLM 추론·서빙용 오픈소스 라이브러리입니다. PagedAttention으로 KV 캐시 메모리를 관리하고, 들어오는 요청을 연속적으로 배칭하며, 다양한 양자화 형식을 지원하고, OpenAI 호환 HTTP 서버를 제공합니다.

[동시 처리(concurrency)](https://broadrouter.com/ko/glossary/concurrency/)

동시 처리(concurrency)는 클라이언트가 같은 시점에 진행 중인 요청 수입니다. LLM API는 분당 요청 수와 별도로 키나 플랜마다 이를 제한하는 경우가 많습니다. 열려 있는 요청은 응답이 끝날 때까지 GPU 용량을 차지하기 때문입니다.

[첫 토큰까지의 시간(TTFT)](https://broadrouter.com/ko/glossary/time-to-first-token/)

첫 토큰까지의 시간(TTFT)은 언어 모델에 요청을 보낸 시점부터 첫 출력 토큰이 도착할 때까지의 시간입니다. 네트워크 시간, 서버의 대기열 시간, 그리고 모델이 프롬프트 전체를 읽는 단계인 프리필(prefill)이 포함되므로, 프롬프트가 길고 부하가 클수록 늘어납니다.

## 자주 묻는 질문

### Uno란 무엇인가요?

Uno는 IFM과 공동 연구자들이 개발한 추측 디코딩 방법입니다. 학습된 작은 어댑터가 모델이 여러 토큰을 한꺼번에 제안하게 하고, 모델 자신의 가중치가 그 토큰을 검증합니다. 별도의 초안 모델은 없습니다.

### 속도 향상은 무손실인가요?

BroadNet은 자사 릴리스에 대해 그렇다고 말합니다. 일반 vLLM이 자신의 출력을 재현할 때마다 Uno는 그 그리디 토큰과 일치하고, 샘플링 분포 테스트도 통과합니다. 추측 디코딩은 초안 토큰을 모두 전체 모델로 검증하므로 출력 품질은 바뀌지 않아야 하지만, 자체 프롬프트로 확인하세요.

### 동시성이 높을 때도 Uno가 도움이 되나요?

동시성이 낮을 때보다는 덜 됩니다. 논문의 통제 실험에서 향상 폭은 스트림 1개의 2.58배에서 32개의 1.74배로 줄었습니다. BroadNet의 카탈로그에 따르면 다른 방법인 EAGLE3는 동시 요청 32개에서 처리량의 69%를 잃었으므로, 초안 방법은 실제 부하에서 시험해야 합니다.

### 직접 실행할 수 있나요?

네. BroadNet은 구현을 vllm-uno 저장소에 릴리스마다 컨테이너 이미지, 고정된 버전, 검증 기록과 함께 공개하며, vLLM에 풀 리퀘스트 55947로 제안했습니다.

### BroadNet Inference는 API 모델에 Uno를 쓰나요?

BroadNet은 그렇다고 밝히지 않았습니다. 카탈로그에는 Gemma 4 26B의 프로덕션에 다중 토큰 예측 드래프터(k=2)가 쓰인다고 나와 있습니다. Uno는 BroadNet이 공개한 연구 결과이며, 전용 엔드포인트에서 필요하다면 BroadNet에 문의하세요.

## 이어서 읽기

-   [Gemma 4 26B에 적용한 Uno: BroadNet의 전문가 혼합(MoE) 연구](https://broadrouter.com/ko/blog/uno-mixture-of-experts-gemma-4-study/)
-   [BroadNet의 GPU 하드웨어와 서빙 방식: BroadNet이 밝힌 내용](https://broadrouter.com/ko/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM 지연 시간: TTFT, 초당 토큰 수, 엔드투엔드 시간의 차이](https://broadrouter.com/ko/blog/llm-latency-ttft-throughput/)
-   [BroadNet이 평가 후 탈락시킨 모델과 그 이유](https://broadrouter.com/ko/blog/models-broadnet-ruled-out/)
-   [LLM API 응답 캐싱으로 비용 줄이기: Python 정확 일치 캐시](https://broadrouter.com/ko/blog/cache-llm-responses-cut-cost/)
-   [문서 AI 워크플로에 사람의 검토 단계 넣기](https://broadrouter.com/ko/blog/document-review-queues/)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-uno-in-vllm-serving-study&utm_content=page-cta) ·

**출처**

-   [Al Zubaidi, Uno in vLLM: An Independent Implementation and Empirical Serving Study, Zenodo 프리프린트 v1.0, 2026-09-08 (2026-11-15 레코드 확인)](https://doi.org/10.5281/zenodo.22652610)
-   [BroadNet Research: 발표 논문과 주요 결과 (2026-11-15 확인) (영어)](https://www.broadnet.ai/research)
-   [BroadNet 블로그, Bringing Uno to vLLM (2026년 9월 8일; 2026-11-15 확인) (영어)](https://www.broadnet.ai/blog/bringing-uno-to-vllm)
-   [vllm-uno 저장소, BroadNet (2026-11-15 확인)](https://github.com/brntech/vllm-uno)
-   [IFM, Uno 프로젝트 저장소 (2026-11-15 확인)](https://github.com/ifm-ai/uno)
