Spring AI ist das Framework des Spring-Projekts für KI in Java. Sein OpenAI-Chat-Starter liest eine base-url und kann daher jeden OpenAI-kompatiblen Server aufrufen. BroadNet Inference stellt unter https://inference.broadnet.ai/v1 Standard-Chat-Completions bereit. BroadRouter ist die Website von BroadNet; diese Anleitung folgt der Referenz von Spring AI 2.0.2.
Starter hinzufügen
Mit eingebundener Spring-AI-BOM (siehe die Spring-AI-Dokumentation zum Dependency Management):
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>
Konfigurieren
application.properties:
spring.ai.openai.base-url=https://inference.broadnet.ai/v1
spring.ai.openai.api-key=${BROADNET_API_KEY}
spring.ai.openai.chat.model=broadnet/glm-5.3
spring.ai.openai.chat.max-tokens=2000
export BROADNET_API_KEY='your-broadnet-key'
Lassen Sie /v1 in der URL. In Spring AI 2.x geht der Wert unverändert an den openai-java-Client (OpenAiSetup.calculateBaseUrl gibt ihn so zurück, wie er ist), und dieser Client hängt /chat/completions an. Der Standardwert, den er ersetzt, ist https://api.openai.com/v1.
Aufrufen und testen
import org.springframework.ai.chat.client.ChatClient;
import org.springframework.boot.CommandLineRunner;
import org.springframework.context.annotation.Bean;
@Bean
CommandLineRunner smokeTest(ChatClient.Builder builder) {
return args -> {
ChatClient chat = builder.build();
System.out.println(chat.prompt().user("Say hello in five words.").call().content());
};
}
Starten Sie die App. Wird eine Antwort ausgegeben, stimmen Schlüssel, URL und Modell-ID.
Wichtige Einstellungen für BroadNet
max-tokens, nichtmax-completion-tokens. Laut Spring-AI-Dokumentation schließen sich beide gegenseitig aus, und beide zu setzen ist ein Fehler. Die API-Referenz von BroadNet beschreibtmax_tokens. DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken zuerst nach, und das Reasoning zählt zum Limit.- Reasoning-Text. Spring AI kann
reasoning_contentvon OpenAI-kompatiblen Servern bereitstellen, die ihn zurückgeben. Die API-Referenz von BroadNet meldet die Zahl der Reasoning-Tokens inusage, sichert den Reasoning-Text selbst aber nicht zu; verlassen Sie sich also nicht darauf. - Override nur für den Chat.
spring.ai.openai.chat.base-urlundspring.ai.openai.chat.api-keyhaben für das Chat-Modell Vorrang vor den gemeinsamen Properties. Nutzen Sie sie, wenn andere OpenAI-Modelle in Spring AI (etwa Embeddings) bei OpenAI bleiben sollen. - Retries.
spring.ai.retry.max-attemptssteht standardmäßig auf 10, mit exponentiellem Backoff. Bei einem Pay-as-you-go-Schlüssel kann das das Minutenlimit aufbrauchen; erwägen Sie, den Wert zu senken.
Welches Modell passt?
| Einsatz | spring.ai.openai.chat.model |
|---|---|
| Tool Calling, strukturierte Ausgabe | broadnet/glm-5.3 |
| Bilder oder arabischer Text | broadnet/qwen3.8-27b |
| Lange Dokumente, Flatrate-Plan | broadnet/deepseek-v4.1-flash |
| Kostenloses Startguthaben | broadnet/gemma-4-26b-a4b |
Fehlerbehebung
- 401. Der Schlüssel ist falsch, abgelaufen oder sein Kontingent ist aufgebraucht, oder
BROADNET_API_KEYist für die JVM nicht gesetzt. - 404. In der Base-URL fehlt
/v1, oder die Modell-ID ist falsch. Kostenpflichtige Modelle brauchen eine Aufladung; das Guthaben von $5 deckt nurbroadnet/gemma-4-26b-a4bund die beiden Transcribe-Modelle ab. - Leeres
content(). Das Reasoning hat das Output-Budget verbraucht. Erhöhen Siemax-tokens. Warum Antworten leer zurückkommen. - 400, wenn beide Token-Limits gesetzt sind. Entfernen Sie
max-completion-tokens. - 429. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende. Siehe Fehlercodes und Retries.
