BroadRouter
ابدأ الآن

vLLM

آخر تحديث

vLLM مكتبة مفتوحة المصدر للاستدلال بالنماذج اللغوية الكبيرة وتقديمها، طُوّرت أولًا في مختبر Sky Computing بجامعة UC Berkeley. تدير ذاكرة KV المؤقتة (KV cache) بتقنية PagedAttention، وتجمّع الطلبات الواردة باستمرار، وتدعم صيغ تكميم كثيرة، وتوفّر خادم HTTP متوافقًا مع OpenAI.

يُسمّى أيضًا: في إل إل إم، خادم vLLM، محرك vLLM، تشغيل النماذج بـ vLLM، vLLM، vLLM server، vLLM serve

حين يستضيف المطوّرون نموذجًا مفتوح الأوزان على خادم GPU بأنفسهم، يكون vLLM من أول المحركات التي يجرّبونها.

كيف يعمل

يصف توثيق المشروع vLLM بأنه “a fast and easy-to-use library for LLM inference and serving” (ترجمة: مكتبة سريعة وسهلة الاستخدام للاستدلال بالنماذج اللغوية الكبيرة وتقديمها)، و”Originally developed in the Sky Computing Lab at UC Berkeley” (ترجمة: طُوّرت أصلًا في مختبر Sky Computing بجامعة UC Berkeley). وأفكاره الأساسية:

  • PagedAttention. تدير الورقة البحثية التي يقوم عليها vLLM (2023) ذاكرة KV المؤقتة بطريقة “inspired by the classical virtual memory and paging techniques in operating systems” (ترجمة: مستوحاة من تقنيات الذاكرة الافتراضية والتصفيح الكلاسيكية في أنظمة التشغيل). وتُبلغ عن “near-zero waste in KV cache memory” (ترجمة: هدر شبه معدوم في ذاكرة KV cache)، وعن إنتاجية أعلى بمرتين إلى أربع مرات من FasterTransformer وOrca عند زمن استجابة مماثل.
  • التجميع المستمر (continuous batching). تُجمَّع الطلبات الواردة ديناميكيًا بدل انتظار دفعة ثابتة. ويذكر التوثيق بجانبه الملء المسبق المجزّأ (chunked prefill) والتخزين المؤقت للبادئات (prefix caching)؛ راجع الملء المسبق وفك الترميز.
  • صيغ كثيرة. يذكر التوثيق FP8 وINT8 وINT4 وGPTQ/AWQ وGGUF وغيرها من صيغ التكميم.
  • العتاد. وحدات GPU من NVIDIA وAMD وعدة عائلات من المعالجات المركزية، مع إضافات (plugins) لمسرّعات أخرى.
  • خادم متوافق مع OpenAI. شغّله بالأمر vllm serve واستدعِه كأي API متوافقة مع OpenAI.

استدعاء بسيط من عميل إلى خادمك:

from openai import OpenAI
client = OpenAI(base_url="http://YOUR_VLLM_HOST/v1", api_key="unused")
r = client.chat.completions.create(
    model="your-model",
    messages=[{"role": "user", "content": "Hello"}])

يحتاج الخادم إلى قالب محادثة للنموذج. ويحذّر توثيق التقديم: “Without a chat template, the server will not be able to process chat and all chat requests will error.” (ترجمة: من دون قالب محادثة، لن يتمكّن الخادم من معالجة المحادثة وستفشل كل طلبات المحادثة). ويمكنك تمرير قالب بالخيار --chat-template.

لماذا يهم

  • مرجع للاستضافة الذاتية. إذا قارنت سعر API بتشغيل وحدات GPU خاصة بك، فإن vLLM محرك شائع للقياس به. ويقترح دليلنا لتكلفة الاستضافة الذاتية مقابل API اختبار موجّهاتك الحقيقية بتزامن حقيقي باستخدام vLLM أو SGLang.
  • طريقة التشغيل تغيّر النتائج. الأوزان نفسها قد تكون أسرع أو أبطأ، وقد تحقق درجات مختلفة، بحسب إصدار المحرك والتكميم والإعدادات.
  • مفردات مشتركة. مصطلحات مثل PagedAttention والملء المسبق المجزّأ وفك الترميز التخميني يسهل فهمها حين تعرف أين يستخدمها vLLM.

في BroadNet Inference

لا تذكر BroadNet أي محرك يشغّل واجهتها العامة، ولذلك لا تدّعي هذه الصفحة محركًا بعينه. أما ما نشرته BroadNet: مسودة بحثية في سبتمبر 2026 بعنوان Uno in vLLM، تضيف إلى vLLM محوّل Uno للمسوّدة الذاتية (self-drafting adapter) من IFM، وتُبلغ عن إنتاجية تبلغ 2.58 ضعف vLLM العادي عند تدفق واحد و1.74 ضعفًا عند 32 تدفقًا، على H100 مع Qwen3-8B. وشيفرتها منشورة في مستودع vllm-uno التابع لـ BroadNet. ويُدرج كتالوج BroadNet أيضًا نسخة AWQ INT4 من Qwen3.8 27B على نسخة vLLM المعدّلة لـ AMD ROCm ضمن إعدادات المختبر. ولمعرفة كيف تصف BroadNet أسطولها، راجع منشورها عن عتاد GPU والتشغيل.

أسئلة شائعة

هل vLLM مزوّد API؟

لا. vLLM برنامج تشغّله على عتادك الخاص. واستخدامه مباشرةً يعني أنك تدير بنفسك وحدات GPU والتوسّع والتحديثات.

هل يمكنني توجيه OpenAI SDK إلى خادم vLLM؟

نعم. يوفّر vLLM خادمًا متوافقًا مع OpenAI، فتضبط الرابط الأساسي (base URL) في الـ SDK على خادمك وترسل طلبات chat completion. ويحتاج النموذج إلى قالب محادثة، وإلا فشلت طلبات المحادثة.

هل يعمل BroadNet Inference على vLLM؟

لا تذكر BroadNet أي محرك يشغّل واجهتها العامة. وقد نشرت تنفيذًا بحثيًا على vLLM (Uno in vLLM)، وتُدرج نسخة vLLM معدّلة لـ AMD ROCm ضمن إعدادات مختبرها.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity