BroadRouter

Utiliser Spring AI avec BroadNet Inference (base-url OpenAI)

Mis à jour

Ajoutez spring-ai-starter-model-openai, puis réglez spring.ai.openai.base-url sur https://inference.broadnet.ai/v1, spring.ai.openai.api-key sur votre clé BroadNet et spring.ai.openai.chat.model sur un ID BroadNet comme broadnet/glm-5.3. Réglez spring.ai.openai.chat.max-tokens en laissant de la place au raisonnement. Spring AI 2.x utilise le SDK openai-java, qui ajoute /chat/completions à la base URL.

Spring AI est le framework du projet Spring pour l’IA en Java. Son starter de chat OpenAI lit une base-url : il peut donc appeler n’importe quel serveur compatible OpenAI. BroadNet Inference sert des chat completions standard à l’adresse https://inference.broadnet.ai/v1. BroadRouter est le site de BroadNet ; ce guide suit la référence de Spring AI 2.0.2.

Ajouter le starter

Avec le BOM Spring AI en place (voir la documentation de Spring AI sur la gestion des dépendances) :

<dependency>
  <groupId>org.springframework.ai</groupId>
  <artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>

Configurer

application.properties :

spring.ai.openai.base-url=https://inference.broadnet.ai/v1
spring.ai.openai.api-key=${BROADNET_API_KEY}
spring.ai.openai.chat.model=broadnet/glm-5.3
spring.ai.openai.chat.max-tokens=2000
export BROADNET_API_KEY='your-broadnet-key'

Gardez /v1 dans l’URL. Dans Spring AI 2.x, la valeur part telle quelle vers le client openai-java (OpenAiSetup.calculateBaseUrl la renvoie sans modification), et ce client ajoute /chat/completions. La valeur par défaut qu’elle remplace est https://api.openai.com/v1.

Appeler et tester

import org.springframework.ai.chat.client.ChatClient;
import org.springframework.boot.CommandLineRunner;
import org.springframework.context.annotation.Bean;

@Bean
CommandLineRunner smokeTest(ChatClient.Builder builder) {
    return args -> {
        ChatClient chat = builder.build();
        System.out.println(chat.prompt().user("Say hello in five words.").call().content());
    };
}

Lancez l’application. Si une réponse s’affiche, la clé, l’URL et l’ID du modèle sont corrects.

Les réglages qui comptent pour BroadNet

  • max-tokens, pas max-completion-tokens. La documentation de Spring AI indique qu’ils s’excluent mutuellement et que définir les deux est une erreur. La référence de l’API de BroadNet décrit max_tokens. DeepSeek V4.1 Flash, GLM 5.3 et Qwen3.8 27B raisonnent d’abord, et le raisonnement compte dans la limite.
  • Texte du raisonnement. Spring AI peut exposer reasoning_content pour les serveurs compatibles OpenAI qui le renvoient. La référence de l’API de BroadNet indique le nombre de tokens de raisonnement dans usage, mais ne garantit pas le texte du raisonnement lui-même : n’en dépendez pas.
  • Surcharge propre au chat. spring.ai.openai.chat.base-url et spring.ai.openai.chat.api-key priment sur les propriétés communes pour le modèle de chat. Utilisez-les si d’autres modèles OpenAI de Spring AI (comme les embeddings) doivent rester chez OpenAI.
  • Nouvelles tentatives. spring.ai.retry.max-attempts vaut 10 par défaut, avec un backoff exponentiel. Avec une clé à l’usage, cela peut épuiser la limite par minute ; pensez à la réduire.

Quel modèle choisir ?

Usage spring.ai.openai.chat.model
Appel d’outils, sortie structurée broadnet/glm-5.3
Images ou texte arabe broadnet/qwen3.8-27b
Longs documents, forfait à prix fixe broadnet/deepseek-v4.1-flash
Crédit de départ gratuit broadnet/gemma-4-26b-a4b

Les prix de chaque modèle.

Dépannage

  • 401. La clé est erronée, a expiré ou a épuisé son allocation, ou BROADNET_API_KEY n’est pas défini pour la JVM.
  • 404. Il manque /v1 dans la base URL, ou l’ID du modèle est erroné. Les modèles payants nécessitent une recharge ; le crédit de $5 ne couvre que broadnet/gemma-4-26b-a4b et les deux modèles Transcribe.
  • content() vide. Le raisonnement a consommé le budget de sortie. Augmentez max-tokens. Pourquoi les réponses reviennent vides.
  • 400 avec les deux limites de tokens définies. Supprimez max-completion-tokens.
  • 429. Une clé à l’usage autorise 30 requêtes par minute et 4 requêtes en cours. Voir codes d’erreur et nouvelles tentatives.

Questions fréquentes

spring.ai.openai.base-url doit-il inclure /v1 ?

Oui. Dans Spring AI 2.x, la valeur est transmise telle quelle au client openai-java, dont la valeur par défaut est https://api.openai.com/v1. Utilisez https://inference.broadnet.ai/v1.

Faut-il utiliser max-tokens ou max-completion-tokens avec BroadNet ?

max-tokens. La documentation de Spring AI indique que les deux s’excluent mutuellement. La référence de l’API de BroadNet décrit le champ max_tokens, et le raisonnement y est décompté : prévoyez 1 000 tokens ou plus.

L’appel d’outils de Spring AI fonctionne-t-il avec BroadNet ?

Utilisez GLM 5.3 ou Qwen3.8 27B, que BroadNet indique avec outils. La documentation de BroadNet n’indique pas l’appel d’outils pour DeepSeek V4.1 Flash.

Puis-je garder OpenAI pour les embeddings et utiliser BroadNet pour le chat ?

Oui. spring.ai.openai.chat.base-url et spring.ai.openai.chat.api-key remplacent les propriétés communes pour le seul modèle de chat. La référence de l’API de BroadNet ne liste pas d’endpoint d’embeddings.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity