“LLM API SLA” سرچ کریں تو ایسی ٹیبلز ملتی ہیں جو آپس میں میل نہیں کھاتیں۔ یہ پوسٹ ٹیبلز چھوڑ کر براہِ راست ماخذ پڑھتی ہے: ہر فراہم کنندہ کا اپنا SLA یا شرائط کا صفحہ، 15 نومبر 2026 کو حاصل کیا گیا۔ ہر ایک کے لیے ہم اپ ٹائم ہدف، ڈاؤن ٹائم کسے مانا جاتا ہے، سروس کریڈٹ، کوئی لیٹنسی ہدف اور کون سا ٹیئر کور ہے، یہ درج کرتے ہیں۔ BroadRouter، BroadNet کی ویب سائٹ ہے، اس لیے BroadNet بھی فہرست میں ہے، اور یہ ان فراہم کنندگان میں سے ایک ہے جن کا سیلف سروس پر کوئی SLA نہیں۔
LLM API SLA اصل میں کیا وعدہ کرتا ہے؟
SLA ایک تحریری ہدف ہے جس کے ساتھ ایک ازالہ جڑا ہوتا ہے۔ یہ API کو چلتا نہیں رکھتا۔ یہ بتاتا ہے کہ جب API نہیں چلتا تو آپ کے بل پر کیا ہوتا ہے۔ نیچے کے ہر SLA کے چار حصے ہیں:
- ایک ہدف۔ عموماً ہر ریجن، پروجیکٹ یا ریسورس کے لیے ماہانہ اپ ٹائم فیصد۔
- ڈاؤن ٹائم کی تعریف۔ تقریباً ہمیشہ صرف سرور ایررز: درست درخواستوں پر 500 یا 5XX جوابات۔ 429 ریٹ لمٹ ڈاؤن ٹائم نہیں۔ نہ سست جواب، نہ غلط جواب۔
- ایک ازالہ۔ متاثرہ سروس کے اس مہینے کے بل کا ایک فیصد، مستقبل کے بلوں میں کریڈٹ، اور اس کی ایک حد۔
- دعوے کا طریقہ۔ آپ اپنے لاگز کے ساتھ، ایک مقررہ مدت کے اندر کریڈٹ مانگتے ہیں۔
43,200 منٹ والے 30 دن کے مہینے میں فیصد منٹوں میں یوں بدلتے ہیں:
| ماہانہ اپ ٹائم | اجازت شدہ ڈاؤن ٹائم |
|---|---|
| 99.9% | تقریباً 43 منٹ |
| 99.5% | 216 منٹ |
| 99.0% | 432 منٹ |
| 95.0% | 36 گھنٹے |
کون سے LLM API، SLA شائع کرتے ہیں؟
تمام قطاریں 15 نومبر 2026 کو فراہم کنندہ کے اپنے صفحے سے پڑھی گئیں۔ “نہیں ملا” کا مطلب ہے کہ جو صفحہ ہم نے جانچا، اس میں کوئی SLA درج نہیں؛ اس سے کسی نجی معاہدے کا امکان ختم نہیں ہوتا۔
| فراہم کنندہ اور سروس | اپ ٹائم ہدف | ڈاؤن ٹائم کسے مانا جاتا ہے | کریڈٹس | لیٹنسی SLA | کون کور ہے |
|---|---|---|---|---|---|
| Microsoft Azure، Foundry Models (Azure OpenAI ماڈلز شامل) | 99.9% | ایرر کوڈ لوٹانے والی درخواستیں، ہر منٹ کا اوسط | 99.9% سے نیچے 10%، 99% سے نیچے 25% | ہاں، Provisioned Managed ڈیپلائمنٹس اور Priority Processing کے لیے | Azure کے فروخت کردہ Foundry Models؛ Developer ٹیئر باہر |
| Amazon Bedrock | 99.9% (اس سے نیچے کریڈٹس شروع) | 500 ایرر کوڈ لوٹانے والی درخواستیں، ہر 5 منٹ کے وقفے میں، ہر ریجن میں | 10%، 99.0% سے نیچے 25%، 95.0% سے نیچے 100% | SLA میں کوئی نہیں | ہر AWS ریجن میں Bedrock |
| Google، Gemini آن لائن انفرنس API | 99.5% (کم دستیابی والے ماڈلز کے لیے 95%) | لگاتار 5 یا زیادہ منٹ تک 5% سے زیادہ 5XX ایرر ریٹ | 10%، 99.0% سے نیچے 25%، 95.0% سے نیچے 50% | ہاں، گلوبل اینڈپوائنٹ پر Provisioned Throughput کے تحت | generateContent اور streamGenerateContent |
| OpenAI، Scale Tier | 99.9% | عوامی صفحے پر تعریف نہیں | عوامی صفحے پر درج نہیں | 99% وقت ہر ماڈل کی ٹوکن فی سیکنڈ کم از کم حد سے اوپر | Enterprise صارفین، کم از کم 30 دن کے لیے خریدے گئے ٹوکن یونٹس |
| OpenAI، اسٹینڈرڈ استعمال کے مطابق ادائیگی | نہیں ملا | – | – | – | – |
| Anthropic API | نہیں ملا؛ شرائط “as is” اور “as available” کہتی ہیں | – | – | – | – |
| Fireworks AI، Reserved Throughput | 99.9% اپ ٹائم شرائط | قیمتوں کے صفحے پر درج نہیں | درج نہیں | تھرو پٹ SLA | صرف مخصوص گنجائش؛ اوورایج کور نہیں |
| Together AI | سرورلیس: کچھ درج نہیں۔ “Provisioned Throughput: Token-based capacity with SLAs” (شرائط صفحے پر شائع نہیں) | – | – | – | SLA کی شرائط کے لیے سیلز سے پوچھیں |
| BroadNet Inference، سیلف سروس | کوئی نہیں: “no availability commitment” | – | – | – | سروس لیولز صرف الگ تحریری معاہدے میں |
ہائپر اسکیلرز کے SLA آپس میں کیسے مختلف ہیں؟
Microsoft Azure۔ Microsoft کا Learn صفحہ کہتا ہے کہ Azure کے فروخت کردہ Foundry Models “include all Azure OpenAI models” (ترجمہ: تمام Azure OpenAI ماڈلز شامل کرتے ہیں) اور “covered by Azure service-level agreements” (ترجمہ: Azure سروس لیول معاہدوں سے کور ہیں)۔ مجموعی SLA (اکتوبر 2026 ایڈیشن) Error Rate کو فی منٹ کے حساب سے، اور Uptime Percentage کو 100% میں سے اوسط ایرر ریٹ گھٹا کر بیان کرتا ہے۔ کریڈٹس 99.9% سے نیچے 10% اور 99% سے نیچے 25% ہیں۔ کریڈٹس صرف Azure کے فروخت کردہ Foundry Models پر لاگو ہوتے ہیں، اور “The Developer tier of the Foundry Models service is not covered by this SLA.” (ترجمہ: Foundry Models سروس کا Developer ٹیئر اس SLA سے کور نہیں۔) Provisioned Managed ڈیپلائمنٹس اور Priority Processing کے لیے، ایک دوسرا SLA پروڈکٹ دستاویزات میں دیے گئے ہر ماڈل کے ہدف کے مقابلے میں ٹوکن فی سیکنڈ ناپتا ہے، اور حصول 99% سے نیچے جانے پر 10% کریڈٹ دیتا ہے۔
Amazon Bedrock۔ AWS اپ ٹائم ٹیبل پوری کرنے کے لیے “commercially reasonable efforts” (ترجمہ: تجارتی لحاظ سے معقول کوششوں) کا وعدہ کرتا ہے۔ دستیابی ہے “the percentage of Requests processed by Amazon Bedrock that do not fail with Errors” (ترجمہ: Amazon Bedrock کی پروسیس کردہ ان درخواستوں کا فیصد جو ایررز کے ساتھ ناکام نہیں ہوتیں)، اور Error ہے “any Request that returns a 500 error code” (ترجمہ: کوئی بھی درخواست جو 500 ایرر کوڈ لوٹاتی ہے)۔ یہ ہر ریجن کے لیے شمار ہوتا ہے، اور جن وقفوں میں کوئی درخواست نہیں تھی وہ مکمل دستیاب مانے جاتے ہیں۔ مستثنیات میں صارف کے اقدامات، جیسے “scaling of provisioned throughput” (ترجمہ: پروویژنڈ تھرو پٹ کی اسکیلنگ)، اور ماڈل سافٹ ویئر سے ہونے والے “repeated model crashes or an inoperable model” (ترجمہ: بار بار ماڈل کریش یا ناکارہ ماڈل) شامل ہیں۔ SLA میں کوئی لیٹنسی ہدف نہیں۔
Google Cloud۔ Gemini آن لائن انفرنس SLA اس معاملے میں سب سے سخت ہے کہ کیا شمار ہوتا ہے۔ ڈاؤن ٹائم کے لیے 5XX جوابات کا 5% سے زیادہ ایرر ریٹ چاہیے، جو “five or more consecutive minutes” (ترجمہ: لگاتار پانچ یا زیادہ منٹ) تک رہے۔ کریڈٹس سروس کے ماہانہ بل کے 50% تک محدود ہیں، آپ کو 30 دن کے اندر لاگ فائلوں کے ساتھ سپورٹ کو مطلع کرنا ہوتا ہے، اور SLA آپ کا “sole and exclusive remedy” (ترجمہ: واحد اور خصوصی ازالہ) ہے۔ Google Search کے ساتھ گراؤنڈنگ، کوٹا ایررز اور سرور ڈیفالٹ سے چھوٹی ڈیڈ لائنز باہر رکھی گئی ہیں۔ Provisioned Throughput کے تحت، ایک لیٹنسی SLA گلوبل اینڈپوائنٹ پر کچھ Gemini 2.5 ماڈلز کو کور کرتا ہے، جو ہر 5 منٹ کے وقفے میں p50 ٹوکن فی سیکنڈ کے طور پر ناپا جاتا ہے۔ اگر آپ اس کے بجائے Vertex AI پر اپنا اوپن ماڈل ڈیپلائے کرتے ہیں تو الگ Vertex AI Platform SLA کسٹم ماڈل آن لائن پریڈکشن کو 99.5% پر کور کرتا ہے، لیکن صرف “for models deployed on 2 or more nodes” (ترجمہ: 2 یا زیادہ نوڈز پر ڈیپلائے کیے گئے ماڈلز کے لیے)۔
براہِ راست OpenAI اور Anthropic کا کیا؟
OpenAI۔ Scale Tier صفحہ کہتا ہے: “Scale Tier traffic offers a 99.9% uptime SLA and prioritized compute.” (ترجمہ: Scale Tier ٹریفک 99.9% اپ ٹائم SLA اور ترجیحی کمپیوٹ دیتا ہے۔) اس کی ٹیبل اس کے ساتھ ہر ماڈل کا لیٹنسی SLA جوڑتی ہے، جیسے “99% > 50 tokens per second”، جو ہر 5 منٹ میں p50 درخواست لیٹنسی کے طور پر شمار ہوتا ہے۔ صفحہ کہتا ہے “This offering is available to Enterprise customers” (ترجمہ: یہ پیشکش Enterprise صارفین کے لیے دستیاب ہے)، کہ ہر ٹوکن یونٹ “for a minimum of 30 days” (ترجمہ: کم از کم 30 دن کے لیے) خریدا جاتا ہے، اور یہ کہ Scale Tier، GPT-5.6 سے پہلے جاری ماڈلز کو کور کرتا ہے، بعد کے ماڈلز کے لیے Reserved Tier ہے۔ اسٹینڈرڈ استعمال کے مطابق ادائیگی والے استعمال سے جڑا کوئی اپ ٹائم SLA ہمیں نہیں ملا۔ (openai.com نے ہمارے فیچر کو بلاک کیا، اس لیے ہم نے صفحہ Internet Archive کے 7 نومبر 2026 کے کیپچر سے پڑھا۔)
Anthropic۔ عوامی Commercial Terms (17 جون 2025 سے نافذ) میں کوئی SLA یا سروس کریڈٹس نہیں۔ سیکشن L.2 سروس “AS IS” اور “AS AVAILABLE” دیتا ہے اور اس بات سے انکار کرتا ہے کہ استعمال “WILL BE UNINTERRUPTED” (ترجمہ: بلا تعطل ہو گا)۔ انٹرپرائز معاہدے مختلف ہو سکتے ہیں، لیکن وہ عوامی نہیں۔
SLA سے آپ کو کیا نہیں ملتا؟
- خود اپ ٹائم۔ کریڈٹ آؤٹیج کے بعد ملتا ہے۔ آپ کے صارفین نے پھر بھی اسے دیکھا۔
- گنجائش۔ تھروٹلنگ (429) اوپر کی ہر اپ ٹائم تعریف سے باہر ہے۔ Google واضح طور پر “quotas applied by the system” (ترجمہ: سسٹم کی طرف سے لاگو کوٹے) کو باہر رکھتا ہے۔ دیکھیں 429 ایررز کیسے سنبھالیں۔
- رفتار۔ صرف پروویژنڈ یا مخصوص ٹیئرز میں ٹوکن فی سیکنڈ ہدف ہوتا ہے۔ اسٹینڈرڈ ٹریفک پر سست جواب بھی کامیاب جواب ہے۔ لیٹنسی میٹرکس کی وضاحت۔
- کوالٹی۔ غلط جواب والا 200 جواب کہیں بھی ڈاؤن ٹائم نہیں۔
- زیادہ پیسے۔ کریڈٹس ایک سروس کے ماہانہ بل کا حصہ ہوتے ہیں، اکثر محدود، اور آپ کو انہیں اپنے لاگز کے ساتھ کلیم کرنا پڑتا ہے۔
بغیر SLA والے API پر کیسے بنائیں؟
زیادہ تر ٹیمیں بغیر SLA والے استعمال کے مطابق ادائیگی API پر بناتی ہیں۔ یہ تب کام کرتا ہے جب ایپلیکیشن ناکامی کی توقع رکھتی ہو:
- ٹائم آؤٹس سیٹ کریں۔ لمبے جوابات اسٹریم کریں اور ہر درخواست پر کلائنٹ ٹائم آؤٹ سیٹ کریں، تاکہ اٹکی کال جلدی ناکام ہو۔ اسٹریمنگ گائیڈ۔
- بیک آف اور جِٹر کے ساتھ دوبارہ کوشش کریں 429 اور 5XX پر، اور دوبارہ کوششوں کی حد رکھیں۔ ایررز اور دوبارہ کوششیں۔
- دوسرا فراہم کنندہ کنفیگر رکھیں۔ OpenAI سے مطابقت رکھنے والے API کے ساتھ فال بیک کا مطلب ہے دوسرا base URL، کلید اور ماڈل ID۔ LLM APIs کے بیچ فیل اوور کیسے کریں۔
- درخواست IDs، ٹائم اسٹیمپس اور اسٹیٹس کوڈز لاگ کریں۔ کسی بھی SLA کلیم کے لیے اور اپنا اصل ایرر ریٹ دیکھنے کے لیے یہ چاہییں۔
- جہاں ضرورت ہو، معاہدہ خریدیں۔ اگر اپ ٹائم ایک سخت ضرورت ہے تو تحریری SLA والا فراہم کنندہ ٹیئر استعمال کریں، یا طے شدہ سروس لیولز والی پرائیویٹ ڈیپلائمنٹ۔ پرائیویٹ اینڈپوائنٹ سے پہلے کیا منصوبہ بنائیں۔
BroadNet Inference کہاں فٹ ہوتا ہے
BroadRouter، BroadNet کی اپنی ویب سائٹ ہے۔ BroadNet کے سیلف سروس API کا، چاہے استعمال کے مطابق ادائیگی ہو یا پلانز، کوئی SLA نہیں۔ اس کی سروس کی شرائط (§7.4) کہتی ہیں: “We aim to keep the API available and publish what we measure, but self-serve has no availability commitment.” (ترجمہ: ہمارا مقصد API کو دستیاب رکھنا اور جو ہم ناپتے ہیں اسے شائع کرنا ہے، لیکن سیلف سروس پر دستیابی کی کوئی ذمہ داری نہیں۔) اور: “Service levels exist only in a separate written agreement.” (ترجمہ: سروس لیولز صرف الگ تحریری معاہدے میں ہوتے ہیں۔) اس معاملے میں Azure، AWS اور Google زیادہ دیتے ہیں: کریڈٹس کے ساتھ تحریری اپ ٹائم ہدف۔ BroadNet کی استعمال کے مطابق ادائیگی والی کلید پر 30 درخواستیں فی منٹ اور بیک وقت 4 جاری درخواستوں کی اجازت ہے۔ اپنے سرونگ سیٹ اپ کا BroadNet کا اپنا بیان BroadNet کا GPU ہارڈویئر اور سرونگ کا طریقہ میں ہے، جسے ہم BroadNet کے بیان کے طور پر نقل کرتے ہیں، ذمہ داری کے طور پر نہیں۔
اگر آپ کا کام دوبارہ کوششوں اور فال بیک کے ساتھ چل سکتا ہے تو BroadNet کا OpenAI سے مطابقت رکھنے والا اینڈپوائنٹ کنفیگر کرنے کے لیے ایک اور base URL ہے: https://inference.broadnet.ai/v1۔ اگر آپ کو معاہدے پر مبنی سروس لیولز چاہییں تو بھروسہ کرنے سے پہلے BroadNet سے تحریری معاہدے کے بارے میں پوچھیں۔ API ریفرنس پڑھیں یا اکاؤنٹ بنائیں۔
