BroadRouter

Spring AI mit BroadNet Inference nutzen (OpenAI base-url)

Aktualisiert

Fügen Sie spring-ai-starter-model-openai hinzu und setzen Sie spring.ai.openai.base-url auf https://inference.broadnet.ai/v1, spring.ai.openai.api-key auf Ihren BroadNet-Schlüssel und spring.ai.openai.chat.model auf eine BroadNet-ID wie broadnet/glm-5.3. Setzen Sie spring.ai.openai.chat.max-tokens mit Platz für Reasoning. Spring AI 2.x nutzt das openai-java-SDK, das /chat/completions an die Base-URL anhängt.

Spring AI ist das Framework des Spring-Projekts für KI in Java. Sein OpenAI-Chat-Starter liest eine base-url und kann daher jeden OpenAI-kompatiblen Server aufrufen. BroadNet Inference stellt unter https://inference.broadnet.ai/v1 Standard-Chat-Completions bereit. BroadRouter ist die Website von BroadNet; diese Anleitung folgt der Referenz von Spring AI 2.0.2.

Starter hinzufügen

Mit eingebundener Spring-AI-BOM (siehe die Spring-AI-Dokumentation zum Dependency Management):

<dependency>
  <groupId>org.springframework.ai</groupId>
  <artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>

Konfigurieren

application.properties:

spring.ai.openai.base-url=https://inference.broadnet.ai/v1
spring.ai.openai.api-key=${BROADNET_API_KEY}
spring.ai.openai.chat.model=broadnet/glm-5.3
spring.ai.openai.chat.max-tokens=2000
export BROADNET_API_KEY='your-broadnet-key'

Lassen Sie /v1 in der URL. In Spring AI 2.x geht der Wert unverändert an den openai-java-Client (OpenAiSetup.calculateBaseUrl gibt ihn so zurück, wie er ist), und dieser Client hängt /chat/completions an. Der Standardwert, den er ersetzt, ist https://api.openai.com/v1.

Aufrufen und testen

import org.springframework.ai.chat.client.ChatClient;
import org.springframework.boot.CommandLineRunner;
import org.springframework.context.annotation.Bean;

@Bean
CommandLineRunner smokeTest(ChatClient.Builder builder) {
    return args -> {
        ChatClient chat = builder.build();
        System.out.println(chat.prompt().user("Say hello in five words.").call().content());
    };
}

Starten Sie die App. Wird eine Antwort ausgegeben, stimmen Schlüssel, URL und Modell-ID.

Wichtige Einstellungen für BroadNet

  • max-tokens, nicht max-completion-tokens. Laut Spring-AI-Dokumentation schließen sich beide gegenseitig aus, und beide zu setzen ist ein Fehler. Die API-Referenz von BroadNet beschreibt max_tokens. DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken zuerst nach, und das Reasoning zählt zum Limit.
  • Reasoning-Text. Spring AI kann reasoning_content von OpenAI-kompatiblen Servern bereitstellen, die ihn zurückgeben. Die API-Referenz von BroadNet meldet die Zahl der Reasoning-Tokens in usage, sichert den Reasoning-Text selbst aber nicht zu; verlassen Sie sich also nicht darauf.
  • Override nur für den Chat. spring.ai.openai.chat.base-url und spring.ai.openai.chat.api-key haben für das Chat-Modell Vorrang vor den gemeinsamen Properties. Nutzen Sie sie, wenn andere OpenAI-Modelle in Spring AI (etwa Embeddings) bei OpenAI bleiben sollen.
  • Retries. spring.ai.retry.max-attempts steht standardmäßig auf 10, mit exponentiellem Backoff. Bei einem Pay-as-you-go-Schlüssel kann das das Minutenlimit aufbrauchen; erwägen Sie, den Wert zu senken.

Welches Modell passt?

Einsatz spring.ai.openai.chat.model
Tool Calling, strukturierte Ausgabe broadnet/glm-5.3
Bilder oder arabischer Text broadnet/qwen3.8-27b
Lange Dokumente, Flatrate-Plan broadnet/deepseek-v4.1-flash
Kostenloses Startguthaben broadnet/gemma-4-26b-a4b

Preise für alle Modelle.

Fehlerbehebung

  • 401. Der Schlüssel ist falsch, abgelaufen oder sein Kontingent ist aufgebraucht, oder BROADNET_API_KEY ist für die JVM nicht gesetzt.
  • 404. In der Base-URL fehlt /v1, oder die Modell-ID ist falsch. Kostenpflichtige Modelle brauchen eine Aufladung; das Guthaben von $5 deckt nur broadnet/gemma-4-26b-a4b und die beiden Transcribe-Modelle ab.
  • Leeres content(). Das Reasoning hat das Output-Budget verbraucht. Erhöhen Sie max-tokens. Warum Antworten leer zurückkommen.
  • 400, wenn beide Token-Limits gesetzt sind. Entfernen Sie max-completion-tokens.
  • 429. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende. Siehe Fehlercodes und Retries.

Häufige Fragen

Gehört /v1 in spring.ai.openai.base-url?

Ja. In Spring AI 2.x wird der Wert unverändert an den openai-java-Client übergeben, dessen eigener Standardwert https://api.openai.com/v1 ist. Nutzen Sie https://inference.broadnet.ai/v1.

Sollte ich bei BroadNet max-tokens oder max-completion-tokens verwenden?

max-tokens. Laut Spring-AI-Dokumentation schließen sich beide gegenseitig aus. Die API-Referenz von BroadNet beschreibt das Feld max_tokens, und Reasoning zählt dazu; erlauben Sie also 1.000 Tokens oder mehr.

Funktioniert Tool Calling von Spring AI mit BroadNet?

Nutzen Sie GLM 5.3 oder Qwen3.8 27B, die BroadNet mit Tools führt. Für DeepSeek V4.1 Flash nennt die BroadNet-Dokumentation kein Tool Calling.

Kann ich OpenAI für Embeddings behalten und BroadNet für den Chat nutzen?

Ja. spring.ai.openai.chat.base-url und spring.ai.openai.chat.api-key überschreiben die gemeinsamen Properties nur für das Chat-Modell. Die API-Referenz von BroadNet führt keinen Embeddings-Endpunkt auf.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen