BroadRouter

Spring AI کو BroadNet Inference کے ساتھ چلائیں (OpenAI base-url)

اپ ڈیٹ

spring-ai-starter-model-openai شامل کریں، پھر spring.ai.openai.base-url کو https://inference.broadnet.ai/v1، spring.ai.openai.api-key کو اپنی BroadNet کلید اور spring.ai.openai.chat.model کو broadnet/glm-5.3 جیسے BroadNet ID پر سیٹ کریں۔ spring.ai.openai.chat.max-tokens میں ریزننگ کے لیے جگہ رکھیں۔ Spring AI 2.x، openai-java SDK استعمال کرتا ہے، جو base URL کے بعد /chat/completions جوڑتا ہے۔

Spring AI، Java میں AI کے لیے Spring پروجیکٹ کا فریم ورک ہے۔ اس کا OpenAI چیٹ اسٹارٹر ایک base-url پڑھتا ہے، اس لیے یہ کسی بھی OpenAI-compatible سرور کو کال کر سکتا ہے۔ BroadNet Inference، https://inference.broadnet.ai/v1 پر معیاری chat completions فراہم کرتا ہے۔ BroadRouter، BroadNet کی اپنی سائٹ ہے؛ یہ گائیڈ Spring AI 2.0.2 ریفرنس پر مبنی ہے۔

اسٹارٹر شامل کریں

Spring AI BOM موجود ہونے پر (Spring AI کی dependency management دستاویزات دیکھیں):

<dependency>
  <groupId>org.springframework.ai</groupId>
  <artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>

کنفیگر کریں

application.properties:

spring.ai.openai.base-url=https://inference.broadnet.ai/v1
spring.ai.openai.api-key=${BROADNET_API_KEY}
spring.ai.openai.chat.model=broadnet/glm-5.3
spring.ai.openai.chat.max-tokens=2000
export BROADNET_API_KEY='your-broadnet-key'

URL میں /v1 رہنے دیں۔ Spring AI 2.x میں یہ قدر بغیر تبدیلی کے openai-java کلائنٹ کو جاتی ہے (OpenAiSetup.calculateBaseUrl اسے جوں کا توں لوٹاتا ہے)، اور وہ کلائنٹ /chat/completions جوڑتا ہے۔ جس ڈیفالٹ کی جگہ یہ لیتا ہے وہ https://api.openai.com/v1 ہے۔

کال کریں اور ٹیسٹ کریں

import org.springframework.ai.chat.client.ChatClient;
import org.springframework.boot.CommandLineRunner;
import org.springframework.context.annotation.Bean;

@Bean
CommandLineRunner smokeTest(ChatClient.Builder builder) {
    return args -> {
        ChatClient chat = builder.build();
        System.out.println(chat.prompt().user("Say hello in five words.").call().content());
    };
}

ایپ شروع کریں۔ جواب پرنٹ ہو تو کلید، URL اور ماڈل ID درست ہیں۔

BroadNet کے لیے اہم سیٹنگز

  • max-tokens، max-completion-tokens نہیں۔ Spring AI کی دستاویزات کہتی ہیں کہ دونوں ایک ساتھ استعمال نہیں ہو سکتے اور دونوں سیٹ کرنا ایرر ہے۔ BroadNet کا API ریفرنس max_tokens بیان کرتا ہے۔ DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B پہلے ریزننگ کرتے ہیں، اور ریزننگ اسی حد میں گنی جاتی ہے۔
  • ریزننگ کا متن۔ Spring AI ان OpenAI-compatible سرورز سے reasoning_content دکھا سکتا ہے جو اسے لوٹاتے ہیں۔ BroadNet کا API ریفرنس usage میں ریزننگ ٹوکنز کی گنتی بتاتا ہے مگر ریزننگ کے متن کا وعدہ نہیں کرتا، اس لیے اس پر انحصار نہ کریں۔
  • صرف چیٹ کے لیے اوور رائیڈ۔ spring.ai.openai.chat.base-url اور spring.ai.openai.chat.api-key چیٹ ماڈل کے لیے مشترکہ پراپرٹیز پر ترجیح رکھتی ہیں۔ انہیں تب استعمال کریں جب Spring AI کے دوسرے OpenAI ماڈلز (جیسے embeddings) کو OpenAI پر ہی رہنا ہو۔
  • ری ٹرائی۔ spring.ai.retry.max-attempts کا ڈیفالٹ 10 ہے، ایکسپونینشل بیک آف کے ساتھ۔ استعمال کے مطابق ادائیگی والی کلید پر اس سے فی منٹ کی حد جلد ختم ہو سکتی ہے؛ اسے کم کرنے پر غور کریں۔

کون سا ماڈل چنیں

استعمال spring.ai.openai.chat.model
ٹول کالنگ، اسٹرکچرڈ آؤٹ پٹ broadnet/glm-5.3
تصاویر یا عربی متن broadnet/qwen3.8-27b
لمبی دستاویزات، فلیٹ ریٹ پلان broadnet/deepseek-v4.1-flash
مفت ابتدائی کریڈٹ broadnet/gemma-4-26b-a4b

ہر ماڈل کی قیمتیں۔

مسائل کا حل

  • 401۔ کلید غلط ہے، ختم ہو چکی ہے یا الاؤنس ختم ہو گیا ہے، یا JVM کے لیے BROADNET_API_KEY سیٹ نہیں۔
  • 404۔ base URL میں /v1 نہیں، یا ماڈل ID غلط ہے۔ پیڈ ماڈلز کے لیے ٹاپ اپ چاہیے؛ $5 کریڈٹ صرف broadnet/gemma-4-26b-a4b اور دو Transcribe ماڈلز کا احاطہ کرتا ہے۔
  • خالی content()۔ ریزننگ نے آؤٹ پٹ بجٹ خرچ کر دیا۔ max-tokens بڑھائیں۔ جوابات خالی کیوں آتے ہیں۔
  • دونوں ٹوکن حدیں سیٹ ہونے پر 400۔ max-completion-tokens ہٹا دیں۔
  • 429۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 جاری درخواستوں کی اجازت دیتی ہے۔ ایررز اور ری ٹرائی دیکھیں۔

عام سوالات

کیا spring.ai.openai.base-url میں /v1 ہونا چاہیے؟

ہاں۔ Spring AI 2.x میں یہ قدر بغیر تبدیلی کے openai-java کلائنٹ کو جاتی ہے، جس کا اپنا ڈیفالٹ https://api.openai.com/v1 ہے۔ https://inference.broadnet.ai/v1 استعمال کریں۔

BroadNet کے ساتھ max-tokens استعمال کروں یا max-completion-tokens؟

max-tokens۔ Spring AI کی دستاویزات کہتی ہیں کہ دونوں ایک ساتھ استعمال نہیں ہو سکتے۔ BroadNet کا API ریفرنس max_tokens فیلڈ بیان کرتا ہے، اور ریزننگ اس میں گنی جاتی ہے، اس لیے 1,000 یا زیادہ ٹوکن رکھیں۔

کیا BroadNet کے ساتھ Spring AI کی ٹول کالنگ چلتی ہے؟

GLM 5.3 یا Qwen3.8 27B استعمال کریں، جنہیں BroadNet ٹولز کے ساتھ درج کرتا ہے۔ BroadNet کی دستاویزات DeepSeek V4.1 Flash کے لیے ٹول کالنگ درج نہیں کرتیں۔

کیا embeddings کے لیے OpenAI اور چیٹ کے لیے BroadNet رکھ سکتے ہیں؟

ہاں۔ spring.ai.openai.chat.base-url اور spring.ai.openai.chat.api-key صرف چیٹ ماڈل کے لیے مشترکہ پراپرٹیز کو اوور رائیڈ کرتی ہیں۔ BroadNet کا API ریفرنس کوئی embeddings endpoint درج نہیں کرتا۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں