BroadRouter
Başlayın

vLLM

Güncellendi

vLLM, ilk olarak UC Berkeley'deki Sky Computing Lab'de geliştirilen, LLM çıkarımı ve sunumu (serving) için açık kaynak bir kütüphanedir. KV önbelleği belleğini PagedAttention ile yönetir, gelen istekleri sürekli olarak toplu işler, birçok kuantizasyon formatını destekler ve OpenAI uyumlu bir HTTP sunucusu sunar.

Diğer adları: vLLM nedir, vLLM sunucusu, vLLM kurulumu, LLM sunum motoru, vLLM server, vLLM serve

Açık ağırlıklı bir modeli bir GPU sunucusunda kendileri barındırmak isteyenlerin ilk denediği motorlardan biri vLLM’dir.

Nasıl çalışır

Projenin belgeleri vLLM’i “a fast and easy-to-use library for LLM inference and serving” (çeviri: LLM çıkarımı ve sunumu için hızlı ve kullanımı kolay bir kütüphane) ve “Originally developed in the Sky Computing Lab at UC Berkeley” (çeviri: ilk olarak UC Berkeley’deki Sky Computing Lab’de geliştirildi) diye tanımlar. Temel fikirleri:

  • PagedAttention. vLLM’in arkasındaki 2023 makalesi, KV önbelleği belleğini “inspired by the classical virtual memory and paging techniques in operating systems” (çeviri: işletim sistemlerindeki klasik sanal bellek ve sayfalama tekniklerinden esinlenen) bir yöntemle yönetir. Makale “near-zero waste in KV cache memory” (çeviri: KV önbelleği belleğinde sıfıra yakın israf) ve benzer gecikmede FasterTransformer ile Orca’nın 2 ila 4 katı işlem hacmi bildiriyor.
  • Sürekli toplu işleme (continuous batching). Gelen istekler sabit bir toplu işi beklemek yerine dinamik olarak gruplanır. Belgeler bunun yanında parçalı prefill (chunked prefill) ve önek önbelleklemeyi (prefix caching) listeler; bkz. prefill ve decode.
  • Birçok format. Belgeler kuantizasyon için FP8, INT8, INT4, GPTQ/AWQ, GGUF ve diğerlerini listeler.
  • Donanım. NVIDIA ve AMD GPU’ları ile birkaç CPU ailesi; diğer hızlandırıcılar için eklentiler.
  • OpenAI uyumlu bir sunucu. vllm serve ile başlatın ve bir OpenAI uyumlu API gibi çağırın.

Kendi sunucunuza en basit istemci çağrısı:

from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Hello"}])

Sunucunun model için bir sohbet şablonuna ihtiyacı vardır. Sunum belgeleri şöyle uyarır: “Without a chat template, the server will not be able to process chat and all chat requests will error.” (çeviri: Sohbet şablonu olmadan sunucu sohbeti işleyemez ve tüm sohbet istekleri hata verir.) Şablonu --chat-template ile verebilirsiniz.

Neden önemli

  • Kendi barındırmanın referans noktası. Bir API fiyatını kendi GPU’larınızı çalıştırmakla karşılaştırıyorsanız vLLM, ölçüm için yaygın bir motordur. Kendi barındırma ve API maliyeti rehberimiz, gerçek istemlerinizi gerçek eşzamanlılıkta vLLM veya SGLang ile test etmenizi öneriyor.
  • Sunum biçimi sonuçları değiştirir. Aynı ağırlıklar motor sürümüne, kuantizasyona ve ayarlara göre daha hızlı veya daha yavaş olabilir, farklı puan alabilir.
  • Ortak bir terminoloji. PagedAttention, chunked prefill ve spekülatif çözümleme gibi terimler, vLLM’in onları nerede kullandığını bildiğinizde daha kolay anlaşılır.

BroadNet Inference’ta

BroadNet, herkese açık API’sini hangi motorun sunduğunu açıklamıyor; bu sayfa da bir motor iddia etmiyor. BroadNet’in yayımladıkları şunlar: IFM’nin Uno kendi kendine taslak üreten adaptörünü vLLM’e ekleyen ve bir H100’de Qwen3-8B ile düz vLLM işlem hacminin tek akışta 2,58 katını, 32 akışta 1,74 katını bildiren Eylül 2026 tarihli bir ön baskı, Uno in vLLM. Kodu, BroadNet’in vllm-uno deposunda herkese açık. BroadNet’in kataloğu ayrıca laboratuvar yapılandırmaları arasında Qwen3.8 27B modelinin, AMD ROCm için yamalanmış vLLM üzerinde çalışan bir AWQ INT4 derlemesini listeliyor. BroadNet’in filosunu nasıl anlattığı için GPU donanımı ve sunum yazısına bakın.

Sık sorulan sorular

vLLM bir API sağlayıcısı mı?

Hayır. vLLM, kendi donanımınızda çalıştırdığınız bir yazılımdır. Onu doğrudan kullanmak; GPU'ları, ölçeklemeyi ve güncellemeleri kendinizin yönetmesi demektir.

OpenAI SDK'sını bir vLLM sunucusuna yönlendirebilir miyim?

Evet. vLLM OpenAI uyumlu bir sunucu sunar; SDK'nın base URL'sini kendi sunucunuza ayarlar ve sohbet tamamlama istekleri gönderirsiniz. Modelin bir sohbet şablonu olmalıdır, yoksa sohbet istekleri başarısız olur.

BroadNet Inference vLLM üzerinde mi çalışıyor?

BroadNet, herkese açık API'sini hangi motorun sunduğunu açıklamıyor. Bir vLLM araştırma uygulaması (Uno in vLLM) yayımladı ve laboratuvar yapılandırmaları arasında AMD ROCm için yamalı bir vLLM derlemesini listeliyor.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor