---
title: "vLLM'de Uno: BroadNet sunum çalışması, DOI ve sonuçlar"
description: "BroadNet, Uno öz-taslak adaptörünü vLLM'e yerleştirip bir H100'de ölçtü: tek akışta düz işlem hacminin 2,58 katı, 32 akışta 1,74 katı. Yöntem, DOI ve sınırlar."
url: https://broadrouter.com/tr/blog/uno-in-vllm-serving-study/
lang: tr
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

İngilizceden yapay zekâ desteğiyle çevrilmiştir. [İngilizce aslını okuyun](https://broadrouter.com/blog/uno-in-vllm-serving-study/) (güncelleme: 2026-11-15).

# vLLM'de Uno: BroadNet'in sunum çalışması neyi ölçtü

BroadNet Inference ekibi · 4 dk okuma · Yayımlandı 2026-11-15

vLLM'de Uno, BroadNet'in Eylül 2026 tarihli bir ön baskısı (DOI 10.5281/zenodo.22652610). Bir modelin kendi token'larını taslak olarak üretmesini sağlayan Uno adaptörünü vLLM'e ekliyor. BroadNet, Qwen3-8B ile bir H100'de düz vLLM işlem hacminin tek akışta 2,58, sekiz akışta 2,20 ve 32 akışta 1,74 katını ölçtü; sonuçlar referans uygulamanın %3 yakınında.

## Öne çıkanlar

-   Makale Zenodo'da bir ön baskı: DOI 10.5281/zenodo.22652610, 8 Eylül 2026'da CC BY 4.0 lisansıyla yayımlandı. Hakem değerlendirmesinden geçmedi.
-   Uno, IFM'nin yöntemi; BroadNet'in katkısı yerel vLLM entegrasyonu ve sunum ölçümleri.
-   Kontrollü bir H100 ve Qwen3-8B matematik iş yükünde: düz vLLM'in 1 akışta 2,58x, 8 akışta 2,20x, 32 akışta 1,74x'i.
-   Üretim ayarlarıyla 32 akışta saniyede 7.657 token; SGLang referansında 7.505.
-   Kazanımlar tek bir model, tek bir iş yükü ve belirli ayarlar için geçerli. Bunlara güvenmeden önce kendi trafiğinizde ölçün.

**Bu sayfada**

1.  Uno hangi sorunu ele alıyor?
2.  BroadNet ne inşa etti?
3.  Nasıl ölçüldü?
4.  Çalışma ne buldu?
5.  Sınırlar neler?
6.  Yalnızca bir API çağırıyorsanız bu neden önemli?

vLLM’de Uno, BroadNet’in araştırma biriminin 8 Eylül 2026’da Zenodo’da [10.5281/zenodo.22652610](https://doi.org/10.5281/zenodo.22652610) DOI’siyle yayımladığı bir ön baskı. IFM’nin geliştirdiği bir spekülatif kod çözme yöntemi olan Uno’nun yerel bir vLLM uygulamasını raporluyor ve düz vLLM’e göre ne kadar hızlı sunduğunu ölçüyor. Zenodo kaydı yazar olarak Mohammad Al Zubaidi’yi gösteriyor.

Bu sayfa makalenin ne dediğini, bunu nasıl ölçtüğünü ve size neyi söyleyip neyi söylemediğini özetliyor. Sayılar BroadNet’e ait; biz yeniden üretmedik.

## Uno hangi sorunu ele alıyor?

Bir dil modeli normalde her ileri geçişte bir token üretir. Spekülatif kod çözme, birkaç token’ı önceden tahmin edip tam modelin tek geçişinde kontrol ederek bunu hızlandırır. Çoğu yöntem ayrı, daha küçük bir taslak model kullanır. Uno ise modelin kendisine eğitilmiş bir adaptör ekler; böylece model kendi token’larını taslak olarak üretir ve sonra özgün ağırlıklarıyla doğrular. Genel fikir için bkz. [spekülatif kod çözme](https://broadrouter.com/tr/glossary/speculative-decoding/).

Makalenin sorusu pratik: bu hızlanma, toplu işleme (batching), önbellekleme ve aynı anda çok sayıda istekle çalışan bir üretim sunum motorunun içinde de korunuyor mu?

## BroadNet ne inşa etti?

BroadNet’in blog yazısı emeğin kime ait olduğu konusunda net: yöntem “Uno, developed by IFM and collaborators” (BroadRouter çevirisi: IFM ve iş birlikçilerinin geliştirdiği Uno); BroadNet’in katkısı ise “the native vLLM integration, the engineering that makes its execution paths work together, and the serving evaluation” (BroadRouter çevirisi: yerel vLLM entegrasyonu, yürütme yollarını birlikte çalıştıran mühendislik ve sunum değerlendirmesi). Özet, yürütme parçalarını sıralıyor: koşullu adaptör yönlendirme, eksiksiz taslak anahtar/değer durumu, eşzamansız zamanlama, CUDA graph yeniden oynatma, örtüşen adaptör hesaplaması ve tohum satırı yeniden kullanımı.

Kod, BroadNet’in [vllm-uno deposunda](https://github.com/brntech/vllm-uno) herkese açık; BroadNet bunu 55947 numaralı çekme isteğiyle vLLM’in ana projesine de önerdi.

## Nasıl ölçüldü?

Ana test kontrollü bir test:

-   **Donanım ve model:** tek bir NVIDIA H100, bfloat16 ile Qwen3-8B ve yayımlanmış Qwen3-8B Uno adaptörü.
-   **İş yükü:** daha büyük toplu işleri doldurmak için döngüyle tekrarlanan sekiz matematik istemi; her biri en fazla 512 token üretiyor, önek önbelleği kapalı.
-   **Taban çizgisi:** aynı kurulumda sıradan otoregresif vLLM (“düz vLLM”).
-   **Eşzamanlılık:** 1, 8 ve 32 eşzamanlı akış.

İkinci ve ayrı bir karşılaştırma, SGLang referans uygulamasıyla kıyaslamak için önek önbelleğini açıyor ve BroadNet’in seçtiği sunum ayarlarını kullanıyor.

## Çalışma ne buldu?

| Ölçüm | BroadNet’in raporladığı sonuç |
| --- | --- |
| Düz vLLM’e göre işlem hacmi, 1 akış | 2,58x |
| Düz vLLM’e göre işlem hacmi, 8 akış | 2,20x |
| Düz vLLM’e göre işlem hacmi, 32 akış | 1,74x |
| SGLang referans uygulamasına fark | 1, 8 ve 32 akışta %3 içinde |
| Üretim ayarları, 32 akış | 7.657 token/sn, SGLang’de 7.505 (%2,0 önde) |
| Isınmış ilk token gecikmesi, vLLM içi ablasyon | Bir yerine iki API süreciyle %25 daha düşük |

Kapasite planlaması açısından asıl sonuç ilk bloğun son satırı: aynı GPU’dan, 32 eşzamanlı akışta saniyede %74 daha fazla çıktı. BroadNet’in blogu buna “the central payoff” (BroadRouter çevirisi: asıl kazanç) diyor; çünkü yük altında kaybolan bir hızlanma, paylaşılan bir API için pek bir şey ifade etmez.

Daha sonraki bir sürüm (v0.2.0, vLLM’in Model Runner V2’si üzerinde) BroadNet’in blogunda Blackwell’de tek akışta 2,1 ila 2,4 kat, Ampere’de 1,7 ila 1,9 kat ve Hopper’da 2,6 kat çıktıyla anlatılıyor. Bunlar makalenin ana tablosundan farklı donanım ve sürümler; rakamların farklı olmasının nedeni bu.

## Sınırlar neler?

-   **Tek model, tek iş yükü.** Kontrollü sonuç, matematik istemlerinde Qwen3-8B için. Kod, sohbet veya uzun belgeler daha az taslak token kabul edebilir.
-   **Kazanım yükle küçülür.** 2,58x’ten 1,74x’e inen eğilim beklenen şekil: GPU meşgulken taslak için ayrılabilecek boş hesaplama gücü tükenir.
-   **Bir ön baskı.** Makale Zenodo’ya yüklenmiş, hakem değerlendirmesinden geçmemiş. Eşlik eden arşiv, kanıt envanterini ve şekil verilerini içeriyor; başkalarının kontrol edebilmesini sağlayan da bu.
-   **Kendi beyanı.** İki kolu da BroadNet çalıştırdı. Referans uygulamayla %3 uyum, makalenin bu konudaki kendi kontrolü.

## Yalnızca bir API çağırıyorsanız bu neden önemli?

GPU başına işlem hacmi, bir sağlayıcının ne kadar ücret alabileceğini ve yük altında ne kadar hızlı yanıt verdiğini belirler. BroadNet’in kataloğu, taslak yöntemlerini seçmeden önce gerçek eşzamanlılıkta ölçtüğünü ve EAGLE3’ü 32 eşzamanlı istekte işlem hacminin %69’una mal olduktan sonra elediğini bildiriyor. [Gemma 4 26B üzerine devam çalışması](https://broadrouter.com/tr/blog/uno-mixture-of-experts-gemma-4-study/) aynı yöntemi, BroadNet’in [Gemma 4 VL 26B](https://broadrouter.com/tr/models/gemma-4-vl-26b/) adıyla sattığı uzmanlar karışımı modeline uyguluyor. Bunun BroadNet’in daha geniş sunum tercihleriyle nasıl örtüştüğü için bkz. [BroadNet’in GPU donanımı ve sunum yaklaşımı](https://broadrouter.com/tr/blog/broadnet-gpu-fleet-and-serving/).

Kendi vLLM sunucularınızı çalıştırıyorsanız pratik ders şu: herhangi bir taslak yöntemini tek akışta değil, gerçekte çalıştırdığınız eşzamanlılıkta kıyaslayın.

Bu konu için ücretsiz araçlar (İngilizce)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Ücretsiz araçlar (İngilizce)](https://broadrouter.com/tools/)

## Bu yazıdaki terimler

[vLLM](https://broadrouter.com/tr/glossary/vllm/)

vLLM, ilk olarak UC Berkeley'deki Sky Computing Lab'de geliştirilen, LLM çıkarımı ve sunumu (serving) için açık kaynak bir kütüphanedir. KV önbelleği belleğini PagedAttention ile yönetir, gelen istekleri sürekli olarak toplu işler, birçok kuantizasyon formatını destekler ve OpenAI uyumlu bir HTTP sunucusu sunar.

[Token](https://broadrouter.com/tr/glossary/token/)

Token, bir dil modelinin okuduğu ve yazdığı metin birimidir: modelin tokenizer'ının ürettiği bir kelime, kelime parçası, noktalama işareti veya bayt dizisi. LLM API'leri kullanımı token cinsinden sayar, sınırlar ve genellikle faturalandırır.

[Akış (streaming)](https://broadrouter.com/tr/glossary/streaming/)

Akış (streaming), bir dil modeli yanıtını sonda tek parça halinde değil, hâlâ üretilirken küçük parçalar halinde döndürme yöntemidir. OpenAI uyumlu API'ler, istekte stream değeri true olduğunda server-sent events (SSE) üzerinden akış yapar.

[İşlem hacmi (throughput)](https://broadrouter.com/tr/glossary/throughput/)

İşlem hacmi (throughput), LLM sunumunda bir sistemin tüm eşzamanlı isteklerde birim zamanda tamamladığı toplam iş miktarıdır; genellikle saniyedeki çıktı token'ı veya saniyedeki istek olarak ölçülür. Tek bir isteğin token'larını ne kadar hızlı aldığını gösteren akış başına hızdan farklıdır.

[Spekülatif çözümleme (speculative decoding)](https://broadrouter.com/tr/glossary/speculative-decoding/)

Spekülatif çözümleme (speculative decoding), küçük ve hızlı bir taslak modelin sonraki birkaç token'ı önerdiği, büyük hedef modelin bunları tek bir ileri geçişte doğrulayıp kabul edilenleri tuttuğu bir çıkarım tekniğidir. Çıktının dağılımını değiştirmeden üretimi hızlandırır.

[Eşzamanlılık (concurrency)](https://broadrouter.com/tr/glossary/concurrency/)

Eşzamanlılık (concurrency), bir istemcinin aynı anda işlemde olan istek sayısıdır. LLM API'leri bunu genellikle dakikadaki istek sayısından ayrı olarak anahtar veya plan başına sınırlar, çünkü açık her istek yanıtı bitene kadar GPU kapasitesi tutar.

[İlk token süresi (TTFT)](https://broadrouter.com/tr/glossary/time-to-first-token/)

İlk token süresi (time to first token, TTFT), bir dil modeline istek gönderildiği andan ilk çıktı token'ının geldiği ana kadar geçen süredir. Ağ süresini, sunucudaki kuyruk beklemesini ve modelin tüm istemi okuduğu ön doldurma (prefill) adımını içerir; bu yüzden istem uzunluğu ve yükle birlikte artar.

[Saniyedeki token (tokens per second, TPS)](https://broadrouter.com/tr/glossary/tokens-per-second/)

Saniyedeki token (TPS), bir dil modelinin çıktı token'larını üretme hızıdır ve genellikle tek bir istek için ilk token geldikten sonra ölçülür. Başlayan bir yanıtın ne kadar hızlı akacağını belirler. Tüm eşzamanlı isteklerde toplandığında sistem işlem hacmine dönüşür; ilk token'dan önceki bekleme ayrıca ölçülür.

## Sık sorulan sorular

### Uno nedir?

Uno, IFM ve iş birlikçilerinin geliştirdiği bir spekülatif kod çözme yöntemi. Küçük, eğitilmiş bir adaptör modelin aynı anda birkaç token önermesini sağlar; ardından modelin kendi ağırlıkları bunları doğrular. Ayrı bir taslak model yoktur.

### Hızlanma kayıpsız mı?

BroadNet kendi sürümü için öyle diyor: düz vLLM kendi çıktısını yeniden ürettiği her durumda Uno açgözlü (greedy) token'larıyla eşleşiyor ve örneklenmiş dağılım testleri geçiyor. Spekülatif kod çözme taslaktaki her token'ı tam modelle doğruladığı için çıktı kalitesi değişmemeli; bunu kendi istemlerinizde kontrol edin.

### Uno yüksek eşzamanlılıkta işe yarıyor mu?

Düşük eşzamanlılıktakinden daha az. Makalenin kontrollü testinde kazanç tek akıştaki 2,58x'ten 32 akışta 1,74x'e düştü. BroadNet'in kataloğu ayrıca başka bir yöntemin, EAGLE3'ün 32 eşzamanlı istekte işlem hacminin %69'una mal olduğunu bildiriyor; yani taslak yöntemleri gerçek yükünüzde test edilmeli.

### Kendim çalıştırabilir miyim?

Evet. BroadNet uygulamayı vllm-uno deposunda her sürüm için bir konteyner imajı, sabitlenmiş sürümler ve bir doğrulama kaydıyla yayımlıyor; ayrıca 55947 numaralı çekme isteğiyle vLLM'e önerdi.

### BroadNet Inference API modellerinde Uno kullanıyor mu?

BroadNet bunu söylemiyor. Kataloğu, Gemma 4 26B için üretimde çoklu token tahmini taslakçılarını (k=2) listeliyor. Uno, BroadNet'in yayımladığı bir araştırma sonucu; özel bir uç noktada ihtiyacınız varsa BroadNet'e sorun.

## Okumaya devam edin

-   [Gemma 4 26B üzerinde Uno: BroadNet'in uzmanlar karışımı çalışması](https://broadrouter.com/tr/blog/uno-mixture-of-experts-gemma-4-study/)
-   [BroadNet'in GPU donanımı ve sunum yaklaşımı, BroadNet'in anlatımıyla](https://broadrouter.com/tr/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM gecikmesi: TTFT, saniye başına token ve uçtan uca süre](https://broadrouter.com/tr/blog/llm-latency-ttft-throughput/)
-   [BroadNet'in test edip elediği modeller ve nedenleri](https://broadrouter.com/tr/blog/models-broadnet-ruled-out/)
-   [LLM API yanıtlarını önbelleğe alıp maliyeti düşürün: Python örneği](https://broadrouter.com/tr/blog/cache-llm-responses-cut-cost/)
-   [Belge yapay zekâsı iş akışınıza insan incelemesini ekleyin](https://broadrouter.com/tr/blog/document-review-queues/)

Gerçek iş yükünüzle deneyin. Yeni hesaplar şunlar için US$5 kredi ile başlar: Gemma ve transkripsiyon. Bakiye yüklemesi gerekenler: DeepSeek, GLM ve Qwen3.8.

[Başlayın](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=tr-blog-uno-in-vllm-serving-study&utm_content=page-cta) ·

**Kaynaklar**

-   [Al Zubaidi, Uno in vLLM: An Independent Implementation and Empirical Serving Study, Zenodo ön baskısı v1.0, 2026-09-08 (kayıt erişim tarihi 2026-11-15)](https://doi.org/10.5281/zenodo.22652610)
-   [BroadNet Research: yayımlanan makaleler ve temel bulgular (erişim tarihi 2026-11-15) (İngilizce)](https://www.broadnet.ai/research)
-   [BroadNet blogu, Bringing Uno to vLLM (8 Eylül 2026; erişim tarihi 2026-11-15) (İngilizce)](https://www.broadnet.ai/blog/bringing-uno-to-vllm)
-   [vllm-uno deposu, BroadNet (erişim tarihi 2026-11-15)](https://github.com/brntech/vllm-uno)
-   [IFM, Uno proje deposu (erişim tarihi 2026-11-15)](https://github.com/ifm-ai/uno)
