باہر چلنے والا زیادہ تر LLM کوڈ ایک ہی بولی بولتا ہے: پیغامات کی فہرست اندر، ایک پیغام باہر۔ یہی بولی Chat Completions API ہے۔
یہ کیسے کام کرتا ہے
آپ /v1/chat/completions پر ایک model اور messages array کے ساتھ JSON کو POST کرتے ہیں۔ ہر پیغام میں ایک role (system، user، assistant یا tool) اور content ہوتا ہے۔ جواب میں ایک choices array ہوتا ہے؛ ہر choice میں ایک message اور ایک finish_reason ہوتا ہے جو بتاتا ہے کہ جنریشن کیوں ختم ہوئی، ساتھ میں ٹوکن گنتی والا usage بلاک۔
curl https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b",
"messages":[{"role":"system","content":"Answer in one line."},
{"role":"user","content":"What is a token?"}]}'
OpenAI Python SDK میں یہی کال client.chat.completions.create(...) ہے۔ اختیاری فیلڈز آؤٹ پٹ کو شکل دیتے ہیں: max_tokens، temperature، stream، tools، response_format اور دیگر۔
یہ API stateless ہے۔ OpenAI کی مائیگریشن گائیڈ کہتی ہے کہ Chat Completions میں “conversation state must be managed manually” (ترجمہ: گفتگو کی حالت خود سنبھالنی پڑتی ہے): آپ کا کوڈ ہسٹری رکھتا ہے اور ہر ٹرن میں اسے دوبارہ بھیجتا ہے۔ OpenAI کا نیا Responses API ٹائپ شدہ items استعمال کرتا ہے اور حالت سرور پر رکھ سکتا ہے۔ OpenAI اپنے پلیٹ فارم پر نئے پروجیکٹس کے لیے اسی کا مشورہ دیتا ہے، لیکن کہتا ہے کہ Chat Completions “remains supported” (ترجمہ: بدستور سپورٹ ہے)۔
یہ کیوں اہم ہے
- پورٹیبلٹی۔ OpenAI-compatible API کا مطلب عموماً یہی اینڈپوائنٹ ہوتا ہے۔ فراہم کنندہ بدلنا اکثر بس نیا base URL، کلید اور ماڈل کا نام ہوتا ہے۔
- لاگت۔ پوری ہسٹری دوبارہ بھیجی جاتی ہے، اس لیے ہر ٹرن کے ساتھ ان پٹ ٹوکن بڑھتے ہیں۔ لمبی چیٹس کو مختصر کریں یا ان کا خلاصہ بنائیں۔
- فیلڈز کا فرق۔ تمام compatible فراہم کنندگان OpenAI کا ہر فیلڈ قبول نہیں کرتے۔ نامعلوم فیلڈز کو نظر انداز یا مسترد کیا جا سکتا ہے، اس لیے جن فیلڈز پر آپ انحصار کرتے ہیں انہیں جانچیں۔
BroadNet Inference پر
BroadNet چیٹ کو https://inference.broadnet.ai/v1 پر POST /v1/chat/completions سے فراہم کرتا ہے، DeepSeek V4.1 Flash، GLM 5.3، Qwen3.8 27B اور Gemma 4 VL 26B کے لیے۔ اسٹریمنگ stream=true سے چلتی ہے اور data: [DONE] پر ختم ہوتی ہے۔ ٹول کالنگ اور اسٹرکچرڈ آؤٹ پٹ صرف GLM 5.3 اور Qwen3.8 27B کے لیے دستاویز شدہ ہیں۔ BroadNet کا API ریفرنس کوئی Responses اینڈپوائنٹ دستاویز نہیں کرتا، اس لیے Chat Completions استعمال کریں۔ curl کوئیک اسٹارٹ یا Python SDK گائیڈ سے شروع کریں۔
عام غلطیاں
- صرف آخری یوزر پیغام بھیجنا اور توقع رکھنا کہ ماڈل گفتگو یاد رکھے گا۔
- کسی دوسرے فراہم کنندہ کا ریفرنس دیکھے بغیر صرف OpenAI والے فیلڈز وہاں کاپی کر دینا۔