BroadRouter

Spring AI sa BroadNet Inference (OpenAI base-url)

Na-update

Idagdag ang spring-ai-starter-model-openai, saka i-set ang spring.ai.openai.base-url sa https://inference.broadnet.ai/v1, ang spring.ai.openai.api-key sa BroadNet key mo at ang spring.ai.openai.chat.model sa BroadNet ID gaya ng broadnet/glm-5.3. I-set ang spring.ai.openai.chat.max-tokens nang may espasyo para sa reasoning. Sa Spring AI 2.x, openai-java SDK ang gamit, na nagdadagdag ng /chat/completions sa base URL.

Ang Spring AI ay framework ng Spring project para sa AI sa Java. Nagbabasa ng base-url ang OpenAI chat starter nito, kaya kaya nitong tumawag sa kahit anong OpenAI-compatible na server. Karaniwang chat completions ang sine-serve ng BroadNet Inference sa https://inference.broadnet.ai/v1. Ang BroadRouter ay sariling site ng BroadNet; sinusundan ng gabay na ito ang Spring AI 2.0.2 reference.

Idagdag ang starter

Kapag nakalagay na ang Spring AI BOM (tingnan ang docs ng Spring AI tungkol sa dependency management):

<dependency>
  <groupId>org.springframework.ai</groupId>
  <artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>

I-configure

application.properties:

spring.ai.openai.base-url=https://inference.broadnet.ai/v1
spring.ai.openai.api-key=${BROADNET_API_KEY}
spring.ai.openai.chat.model=broadnet/glm-5.3
spring.ai.openai.chat.max-tokens=2000
export BROADNET_API_KEY='your-broadnet-key'

Panatilihin ang /v1 sa URL. Sa Spring AI 2.x, ipinapasa ang value sa openai-java client nang walang pagbabago (ibinabalik ito ng OpenAiSetup.calculateBaseUrl nang ganoon din), at ang client na iyon ang nagdadagdag ng /chat/completions. Ang default na pinapalitan nito ay https://api.openai.com/v1.

Tawagin at i-test

import org.springframework.ai.chat.client.ChatClient;
import org.springframework.boot.CommandLineRunner;
import org.springframework.context.annotation.Bean;

@Bean
CommandLineRunner smokeTest(ChatClient.Builder builder) {
    return args -> {
        ChatClient chat = builder.build();
        System.out.println(chat.prompt().user("Say hello in five words.").call().content());
    };
}

Simulan ang app. Kapag may na-print na sagot, tama ang key, URL at model ID.

Mga setting na mahalaga para sa BroadNet

  • max-tokens, hindi max-completion-tokens. Sabi ng docs ng Spring AI, hindi puwedeng sabay ang dalawa at error kapag pareho mong na-set. Ang max_tokens ang inilalarawan ng API reference ng BroadNet. Nagre-reason muna ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B, at kasama ang reasoning sa limit.
  • Reasoning text. Kayang ilabas ng Spring AI ang reasoning_content mula sa mga OpenAI-compatible na server na nagbabalik nito. Iniuulat ng API reference ng BroadNet ang bilang ng reasoning tokens sa usage pero hindi nito ipinapangako ang mismong reasoning text, kaya huwag umasa rito.
  • Override para sa chat lang. Mas inuuna ang spring.ai.openai.chat.base-url at spring.ai.openai.chat.api-key kaysa sa mga shared property para sa chat model. Gamitin ang mga ito kung kailangang manatili sa OpenAI ang ibang Spring AI OpenAI model (gaya ng embeddings).
  • Retries. 10 ang default ng spring.ai.retry.max-attempts, na may exponential backoff. Sa isang pay-as-you-go key, puwede nitong ubusin ang per-minute na limit; pag-isipang babaan ito.

Aling model ang pipiliin

Gamit spring.ai.openai.chat.model
Tool calling, structured output broadnet/glm-5.3
Mga larawan o Arabic na text broadnet/qwen3.8-27b
Mahahabang dokumento, flat-rate na plan broadnet/deepseek-v4.1-flash
Libreng panimulang credit broadnet/gemma-4-26b-a4b

Presyo ng bawat model.

Troubleshooting

  • 401. Mali, expired o naubusan ng allowance ang key, o hindi naka-set ang BROADNET_API_KEY para sa JVM.
  • 404. Walang /v1 ang base URL, o mali ang model ID. Kailangan ng top-up ang mga bayad na model; ang broadnet/gemma-4-26b-a4b at ang dalawang Transcribe model lang ang sakop ng $5 na credit.
  • Walang lamang content(). Naubos ng reasoning ang output budget. Taasan ang max-tokens. Bakit walang laman ang mga sagot.
  • 400 kapag naka-set ang parehong token limit. Alisin ang max-completion-tokens.
  • 429. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 na sabay na tumatakbo. Tingnan ang errors and retries.

Mga tanong

Dapat bang may /v1 ang spring.ai.openai.base-url?

Oo. Sa Spring AI 2.x, ipinapasa ang value nang walang pagbabago sa openai-java client, na https://api.openai.com/v1 ang sariling default. Gamitin ang https://inference.broadnet.ai/v1.

max-tokens ba o max-completion-tokens ang gagamitin ko sa BroadNet?

max-tokens. Sabi ng docs ng Spring AI, hindi puwedeng sabay ang dalawa. Ang max_tokens field ang inilalarawan ng API reference ng BroadNet, at kasama rito ang reasoning, kaya maglaan ng 1,000 token o higit pa.

Gumagana ba ang tool calling ng Spring AI sa BroadNet?

Gamitin ang GLM 5.3 o Qwen3.8 27B, na nakalista sa BroadNet na may tools. Walang nakalistang tool calling para sa DeepSeek V4.1 Flash sa docs ng BroadNet.

Puwede ko bang panatilihin ang OpenAI para sa embeddings at gamitin ang BroadNet para sa chat?

Oo. Ino-override ng spring.ai.openai.chat.base-url at spring.ai.openai.chat.api-key ang mga shared property para sa chat model lang. Walang nakalistang embeddings endpoint sa API reference ng BroadNet.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity