Spring AI ialah rangka kerja projek Spring untuk AI dalam Java. Starter chat OpenAInya membaca base-url, jadi ia boleh memanggil mana-mana pelayan serasi OpenAI. BroadNet Inference menyediakan chat completions standard di https://inference.broadnet.ai/v1. BroadRouter ialah laman web BroadNet sendiri; panduan ini mengikut rujukan Spring AI 2.0.2.
Tambah starter
Dengan Spring AI BOM sudah disediakan (lihat dokumentasi pengurusan kebergantungan Spring AI):
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>
Konfigurasi
application.properties:
spring.ai.openai.base-url=https://inference.broadnet.ai/v1
spring.ai.openai.api-key=${BROADNET_API_KEY}
spring.ai.openai.chat.model=broadnet/glm-5.3
spring.ai.openai.chat.max-tokens=2000
export BROADNET_API_KEY='your-broadnet-key'
Kekalkan /v1 dalam URL. Dalam Spring AI 2.x, nilai itu dihantar kepada klien openai-java tanpa diubah (OpenAiSetup.calculateBaseUrl memulangkannya seadanya), dan klien itu menambah /chat/completions. Nilai lalai yang digantikannya ialah https://api.openai.com/v1.
Panggil dan uji
import org.springframework.ai.chat.client.ChatClient;
import org.springframework.boot.CommandLineRunner;
import org.springframework.context.annotation.Bean;
@Bean
CommandLineRunner smokeTest(ChatClient.Builder builder) {
return args -> {
ChatClient chat = builder.build();
System.out.println(chat.prompt().user("Say hello in five words.").call().content());
};
}
Mulakan aplikasi. Jawapan yang dicetak bermakna kunci, URL dan ID model adalah betul.
Tetapan yang penting untuk BroadNet
max-tokens, bukanmax-completion-tokens. Dokumentasi Spring AI menyatakan kedua-duanya tidak boleh digunakan bersama dan menetapkan kedua-duanya ialah ralat. Rujukan API BroadNet menerangkanmax_tokens. DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan dahulu, dan penaakulan dikira dalam had itu.- Teks penaakulan. Spring AI boleh mendedahkan
reasoning_contentdaripada pelayan serasi OpenAI yang memulangkannya. Rujukan API BroadNet melaporkan bilangan token penaakulan dalamusagetetapi tidak menjanjikan teks penaakulan itu sendiri, jadi jangan bergantung padanya. - Override untuk chat sahaja.
spring.ai.openai.chat.base-urldanspring.ai.openai.chat.api-keydiutamakan berbanding sifat kongsi untuk model chat. Gunakannya jika model Spring AI OpenAI yang lain (seperti embeddings) perlu kekal pada OpenAI. - Cuba semula.
spring.ai.retry.max-attemptsbernilai lalai 10 dengan backoff eksponen. Pada kunci bayar ikut guna, ini boleh menghabiskan had seminit; pertimbangkan untuk merendahkannya.
Model mana yang patut dipilih
| Kegunaan | spring.ai.openai.chat.model |
|---|---|
| Tool calling, output berstruktur | broadnet/glm-5.3 |
| Imej atau teks bahasa Arab | broadnet/qwen3.8-27b |
| Dokumen panjang, pelan kadar tetap | broadnet/deepseek-v4.1-flash |
| Kredit permulaan percuma | broadnet/gemma-4-26b-a4b |
Penyelesaian masalah
- 401. Kunci salah, tamat tempoh atau kehabisan elaun, atau
BROADNET_API_KEYtidak ditetapkan untuk JVM. - 404. Base URL tiada
/v1, atau ID model salah. Model berbayar memerlukan tambah nilai; kredit $5 hanya meliputibroadnet/gemma-4-26b-a4bdan dua model Transcribe. content()kosong. Penaakulan menghabiskan bajet output. Naikkanmax-tokens. Mengapa jawapan kosong.- 400 apabila kedua-dua had token ditetapkan. Buang
max-completion-tokens. - 429. Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. Lihat ralat dan cuba semula.
