BroadRouter

Spring AI con BroadNet Inference (base-url de OpenAI)

Actualizado

Agregue spring-ai-starter-model-openai y luego ponga spring.ai.openai.base-url en https://inference.broadnet.ai/v1, spring.ai.openai.api-key en su clave de BroadNet y spring.ai.openai.chat.model en un ID de BroadNet como broadnet/glm-5.3. Defina spring.ai.openai.chat.max-tokens con margen para el razonamiento. Spring AI 2.x usa el SDK openai-java, que agrega /chat/completions a la URL base.

Spring AI es el framework del proyecto Spring para IA en Java. Su starter de chat de OpenAI lee una base-url, así que puede llamar a cualquier servidor compatible con OpenAI. BroadNet Inference sirve chat completions estándar en https://inference.broadnet.ai/v1. BroadRouter es el sitio de la propia BroadNet; esta guía sigue la referencia de Spring AI 2.0.2.

Agregue el starter

Con el BOM de Spring AI configurado (vea la documentación de gestión de dependencias de Spring AI):

<dependency>
  <groupId>org.springframework.ai</groupId>
  <artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>

Configuración

application.properties:

spring.ai.openai.base-url=https://inference.broadnet.ai/v1
spring.ai.openai.api-key=${BROADNET_API_KEY}
spring.ai.openai.chat.model=broadnet/glm-5.3
spring.ai.openai.chat.max-tokens=2000
export BROADNET_API_KEY='your-broadnet-key'

Conserve /v1 en la URL. En Spring AI 2.x el valor llega sin cambios al cliente openai-java (OpenAiSetup.calculateBaseUrl lo devuelve tal cual), y ese cliente agrega /chat/completions. El valor predeterminado que reemplaza es https://api.openai.com/v1.

Llamada y prueba

import org.springframework.ai.chat.client.ChatClient;
import org.springframework.boot.CommandLineRunner;
import org.springframework.context.annotation.Bean;

@Bean
CommandLineRunner smokeTest(ChatClient.Builder builder) {
    return args -> {
        ChatClient chat = builder.build();
        System.out.println(chat.prompt().user("Say hello in five words.").call().content());
    };
}

Inicie la aplicación. Si se imprime una respuesta, la clave, la URL y el ID de modelo son correctos.

Ajustes que importan con BroadNet

  • max-tokens, no max-completion-tokens. La documentación de Spring AI dice que son mutuamente excluyentes y que definir ambos es un error. La referencia de la API de BroadNet describe max_tokens. DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B razonan primero, y el razonamiento cuenta para el límite.
  • Texto del razonamiento. Spring AI puede exponer reasoning_content de servidores compatibles con OpenAI que lo devuelven. La referencia de la API de BroadNet reporta los recuentos de tokens de razonamiento en usage, pero no garantiza el texto del razonamiento en sí, así que no dependa de él.
  • Sobrescritura solo para el chat. spring.ai.openai.chat.base-url y spring.ai.openai.chat.api-key tienen prioridad sobre las propiedades compartidas para el modelo de chat. Úselas si otros modelos de OpenAI en Spring AI (como los embeddings) deben seguir en OpenAI.
  • Reintentos. spring.ai.retry.max-attempts vale 10 por defecto, con backoff exponencial. Con una clave de pago por uso eso puede agotar el límite por minuto; considere reducirlo.

Qué modelo elegir

Uso spring.ai.openai.chat.model
Llamadas a herramientas, salida estructurada broadnet/glm-5.3
Imágenes o texto en árabe broadnet/qwen3.8-27b
Documentos largos, plan de tarifa plana broadnet/deepseek-v4.1-flash
Crédito inicial gratuito broadnet/gemma-4-26b-a4b

Precios de todos los modelos.

Solución de problemas

  • 401. La clave es incorrecta, expiró o se quedó sin saldo, o BROADNET_API_KEY no está definida para la JVM.
  • 404. A la URL base le falta /v1, o el ID del modelo es incorrecto. Los modelos de pago requieren una recarga; el crédito de $5 cubre solo broadnet/gemma-4-26b-a4b y los dos modelos Transcribe.
  • content() vacío. El razonamiento consumió el presupuesto de salida. Suba max-tokens. Por qué las respuestas llegan vacías.
  • 400 con ambos límites de tokens definidos. Quite max-completion-tokens.
  • 429. Una clave de pago por uso permite 30 solicitudes por minuto y 4 simultáneas. Consulte errores y reintentos.

Preguntas frecuentes

¿spring.ai.openai.base-url debe incluir /v1?

Sí. En Spring AI 2.x el valor se pasa sin cambios al cliente openai-java, cuyo valor predeterminado es https://api.openai.com/v1. Use https://inference.broadnet.ai/v1.

¿Debo usar max-tokens o max-completion-tokens con BroadNet?

max-tokens. La documentación de Spring AI dice que ambos son mutuamente excluyentes. La referencia de la API de BroadNet describe el campo max_tokens, y el razonamiento cuenta para él, así que permita 1,000 tokens o más.

¿Funcionan las llamadas a herramientas de Spring AI con BroadNet?

Use GLM 5.3 o Qwen3.8 27B, que BroadNet indica con herramientas. La documentación de BroadNet no indica llamadas a herramientas para DeepSeek V4.1 Flash.

¿Puedo mantener OpenAI para embeddings y usar BroadNet para el chat?

Sí. spring.ai.openai.chat.base-url y spring.ai.openai.chat.api-key tienen prioridad sobre las propiedades compartidas solo para el modelo de chat. La referencia de la API de BroadNet no incluye un endpoint de embeddings.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity