BroadRouter

Spring AI'ı BroadNet Inference ile kullanın (OpenAI base-url)

Güncellendi

spring-ai-starter-model-openai bağımlılığını ekleyin, ardından spring.ai.openai.base-url değerini https://inference.broadnet.ai/v1, spring.ai.openai.api-key değerini BroadNet anahtarınız, spring.ai.openai.chat.model değerini de broadnet/glm-5.3 gibi bir BroadNet kimliği yapın. spring.ai.openai.chat.max-tokens değerini akıl yürütmeye yer bırakacak şekilde ayarlayın. Spring AI 2.x, base URL'ye /chat/completions ekleyen openai-java SDK'sını kullanır.

Spring AI, Spring projesinin Java’da yapay zekâ için sunduğu framework’tür. OpenAI sohbet starter’ı bir base-url okur, bu yüzden OpenAI uyumlu her sunucuyu çağırabilir. BroadNet Inference https://inference.broadnet.ai/v1 adresinde standart chat completions sunar. BroadRouter, BroadNet’in kendi sitesidir; bu rehber Spring AI 2.0.2 referansını izler.

Starter’ı ekleyin

Spring AI BOM’u yerindeyken (Spring AI’ın bağımlılık yönetimi belgelerine bakın):

<dependency>
  <groupId>org.springframework.ai</groupId>
  <artifactId>spring-ai-starter-model-openai</artifactId>
</dependency>

Yapılandırın

application.properties:

spring.ai.openai.base-url=https://inference.broadnet.ai/v1
spring.ai.openai.api-key=${BROADNET_API_KEY}
spring.ai.openai.chat.model=broadnet/glm-5.3
spring.ai.openai.chat.max-tokens=2000
export BROADNET_API_KEY='your-broadnet-key'

URL’de /v1 kalsın. Spring AI 2.x’te değer openai-java istemcisine değiştirilmeden gider (OpenAiSetup.calculateBaseUrl onu olduğu gibi döndürür) ve /chat/completions ekini o istemci ekler. Değiştirdiği varsayılan değer https://api.openai.com/v1’dir.

Çağırın ve test edin

import org.springframework.ai.chat.client.ChatClient;
import org.springframework.boot.CommandLineRunner;
import org.springframework.context.annotation.Bean;

@Bean
CommandLineRunner smokeTest(ChatClient.Builder builder) {
    return args -> {
        ChatClient chat = builder.build();
        System.out.println(chat.prompt().user("Say hello in five words.").call().content());
    };
}

Uygulamayı başlatın. Bir yanıt yazdırılırsa anahtar, URL ve model kimliği doğrudur.

BroadNet için önemli ayarlar

  • max-completion-tokens değil, max-tokens. Spring AI’ın belgeleri ikisinin birbirini dışladığını ve ikisini birden ayarlamanın hata olduğunu söyler. BroadNet’in API referansı max_tokens alanını tanımlar. DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B önce akıl yürütür ve akıl yürütme bu sınıra dahildir.
  • Akıl yürütme metni. Spring AI, reasoning_content döndüren OpenAI uyumlu sunuculardan bu alanı sunabilir. BroadNet’in API referansı usage içinde akıl yürütme token sayılarını raporlar ama akıl yürütme metninin kendisini vaat etmez; buna güvenmeyin.
  • Yalnızca sohbet için geçersiz kılma. spring.ai.openai.chat.base-url ve spring.ai.openai.chat.api-key, sohbet modeli için ortak özelliklerin önüne geçer. Diğer Spring AI OpenAI modellerinin (örneğin embedding) OpenAI’da kalması gerekiyorsa bunları kullanın.
  • Yeniden denemeler. spring.ai.retry.max-attempts varsayılan olarak üstel geri çekilmeyle 10’dur. Kullandıkça öde anahtarında bu, dakika başı sınırı hızla tüketebilir; düşürmeyi düşünün.

Hangi modeli seçmeli

Kullanım spring.ai.openai.chat.model
Araç çağırma, yapılandırılmış çıktı broadnet/glm-5.3
Görseller veya Arapça metin broadnet/qwen3.8-27b
Uzun belgeler, sabit fiyatlı plan broadnet/deepseek-v4.1-flash
Ücretsiz başlangıç kredisi broadnet/gemma-4-26b-a4b

Tüm modellerin fiyatları.

Sorun giderme

  • 401. Anahtar yanlış, süresi dolmuş ya da kullanım hakkı tükenmiş veya BROADNET_API_KEY JVM için ayarlanmamış.
  • 404. Base URL’de /v1 eksik ya da model kimliği yanlış. Ücretli modeller bakiye yüklemesi gerektirir; $5 kredisi yalnızca broadnet/gemma-4-26b-a4b modelini kapsar.
  • Boş content(). Akıl yürütme çıktı bütçesini tüketmiş. max-tokens değerini artırın. Yanıtlar neden boş geliyor.
  • İki token sınırı birden ayarlıyken 400. max-completion-tokens ayarını kaldırın.
  • 429. Kullandıkça öde anahtarı dakikada 30 isteğe ve aynı anda işlemde 4 isteğe izin verir. Hatalar ve yeniden denemeler rehberine bakın.

Sık sorulan sorular

spring.ai.openai.base-url /v1 içermeli mi?

Evet. Spring AI 2.x'te değer, kendi varsayılanı https://api.openai.com/v1 olan openai-java istemcisine değiştirilmeden aktarılır. https://inference.broadnet.ai/v1 kullanın.

BroadNet ile max-tokens mı, max-completion-tokens mı kullanmalıyım?

max-tokens. Spring AI'ın belgeleri ikisinin birbirini dışladığını söyler. BroadNet'in API referansı max_tokens alanını tanımlar ve akıl yürütme bu sınıra dahildir; bu yüzden 1.000 token veya daha fazlasına izin verin.

Spring AI araç çağırma BroadNet ile çalışır mı?

BroadNet'in araç desteğiyle listelediği GLM 5.3 veya Qwen3.8 27B'yi kullanın. BroadNet'in belgeleri DeepSeek V4.1 Flash için araç çağırmayı listelemez.

Embedding için OpenAI'da kalıp sohbet için BroadNet kullanabilir miyim?

Evet. spring.ai.openai.chat.base-url ve spring.ai.openai.chat.api-key, ortak özellikleri yalnızca sohbet modeli için geçersiz kılar. BroadNet'in API referansı bir embedding uç noktası listelemez.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor