BroadRouter

DSPy'ı BroadNet Inference ile kullanın (model_type="chat" ayarlayın)

Güncellendi

dspy.LM'i "openai/broadnet/glm-5.3" modeli, model_type="chat", https://inference.broadnet.ai/v1 olarak ayarlanmış api_base ve BroadNet api_key'inizle oluşturun, sonra dspy.configure'a verin. model_type="chat" kısmı önemlidir. DSPy 3.5, OpenAI önekli modelleri varsayılan olarak BroadNet'in sunmadığı Responses API'ye yönlendirir. Mock sunucu testimizde bu ayar olmadan çağrı /v1/responses adresine gitti ve 404 aldı; BroadNet'in canlı uç noktası da bu yola 404 ile yanıt verir.

DSPy, dil modellerini imzalar (signatures) ve modüllerle programlamaya ve bunların arkasındaki istemleri optimize etmeye yarayan bir Python çerçevesidir. Bir modele dspy.LM ile bağlanırsınız. DSPy’ın belgeleri OpenAI uyumlu sunucuları api_base içeren bir openai/ modeli olarak gösterir. Chat completions’ı https://inference.broadnet.ai/v1 adresinde sunan BroadNet Inference için ayrıca model_type="chat" gerekir. BroadRouter, BroadNet’in kendi sitesidir; bu rehber DSPy 3.5 belgelerini izler.

Kurulum

pip install dspy
export BROADNET_API_KEY='your-broadnet-key'

Bağlanma

import os
import dspy

lm = dspy.LM(
    "openai/broadnet/glm-5.3",
    model_type="chat",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
dspy.configure(lm=lm)

qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
  • openai/, DSPy’a OpenAI istemcisini kullanmasını söyler. Dizenin geri kalanı, yani broadnet/glm-5.3, BroadNet’e gönderilen model kimliğidir.
  • model_type="chat", DSPy’ı /v1/chat/completions üzerinde tutar. DSPy’ın LM referansına göre varsayılan değer 'auto', OpenAI modellerinin “use Responses” (çeviri: “Responses kullanmasına”) yol açar.
  • max_tokens, akıl yürütmeye pay bırakır. DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B yanıt vermeden önce düşünür ve düşünme bu sınıra dahildir.

model_type olmadan ne olur

DSPy’ın kurulum sayfasındaki OpenAI uyumlu sunucu örneğinde model_type yoktur. DSPy 3.5.0 ile yaptığımız testte bu, isteği max_output_tokens ile /v1/responses adresine gönderdi ve çağrı başarısız oldu:

dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served

Bu hata bizim mock sunucumuzdan geldi. 2026-11-16’da kontrol ettiğimizde BroadNet’in canlı uç noktası da /v1/responses isteğine 404 ile yanıt verdi. model_type="chat" eklemek sorunu çözdü.

Modüller ve modeller

cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
DSPy kullanımı Model
Predict, ChainOfThought, optimizer çalıştırmaları broadnet/deepseek-v4.1-flash (düşük token başına fiyat; sabit fiyatlı planlar)
ReAct ve araç çağıran diğer modüller broadnet/glm-5.3 veya broadnet/qwen3.8-27b
DSPy’ı başlangıç kredisiyle denemek broadnet/gemma-4-26b-a4b (32.768 token bağlam)

BroadNet’in belgeleri araçları ve yapılandırılmış çıktıyı yalnızca GLM 5.3 ve Qwen3.8 27B için listeler. Program için bir model, optimizer için başka bir model kullanabilirsiniz; her biri kendi dspy.LM nesnesiyle. Tüm modellerin fiyatları.

Bunu nasıl test ettik

2026-11-15’te dspy 3.5.0’ı temiz bir sanal ortama kurduk ve dspy.Predict’i, BroadNet’in chat completions yapısını konuşan ve /v1/responses isteklerine 404 döndüren yerel bir mock sunucuya karşı çalıştırdık. model_type olmadan DSPy /v1/responses çağırdı ve başarısız oldu. model_type="chat" ile broadnet/glm-5.3 model kimliği ve bir Bearer anahtarıyla /v1/chat/completions çağırdı ve answer alanını ayrıştırdı. DSPy’ın çıktı sınırını max_completion_tokens olarak gönderdiğini gördük; BroadNet’in API referansı ise max_tokens alanını tanımlar ve max_completion_tokens’tan söz etmez; bu yüzden BroadNet’in bu şekilde gönderilen bir sınırı uyguladığını doğrulayamıyoruz. Testi BroadNet anahtarıyla değil, bir mock sunucuya karşı yaptık; bu yüzden gerçek model çıktısını kontrol etmedik.

Sorun giderme

  • /v1/responses üzerinde 404. model_type="chat" ekleyin.
  • /v1/chat/completions üzerinde 404. api_base /v1 ile bitmeli, model dizesi de openai/ artı tam BroadNet kimliği olmalıdır. Ücretli modeller bakiye yüklemesi gerektirir; $5 kredi yalnızca broadnet/gemma-4-26b-a4b modelini ve iki Transcribe modelini kapsar.
  • “Expected to find output fields”. Yanıt boş geldi ya da yarıda kesildi; bunun nedeni çoğu zaman akıl yürütmenin çıktı bütçesini tüketmesidir. max_tokens değerini artırın. Yanıtlar neden boş geliyor.
  • Optimizasyon sırasında 429. Kullandıkça öde anahtarı dakikada 30 isteğe ve işlemde aynı anda 4 isteğe izin verir. Optimizer’ın iş parçacığı (thread) sayısını düşürün ve hatalar ve yeniden denemeler rehberine bakın.

Sık sorulan sorular

DSPy, BroadNet'te neden /v1/responses çağırıyor?

DSPy 3.5'in dspy.LM referansına göre varsayılan model_type değeri 'auto', OpenAI modellerinin Responses API'yi kullanmasına yol açar. Özel api_base'e sahip bir openai/ modeli de aynı şekilde ele alınır. BroadNet'in sunduğu chat completions'ı kullanmak için model_type="chat" verin.

BroadNet model kimliğini DSPy'da nasıl yazarım?

BroadNet kimliğinin önüne openai/ ekleyin, örneğin openai/broadnet/glm-5.3. DSPy istemciyi seçmek için openai/ önekini kullanır ve testimizde model olarak broadnet/glm-5.3 gönderdi.

DSPy optimizer'ları için hangi BroadNet modeli uygun?

Optimizer'lar çok sayıda çağrı yapar; bu yüzden maliyet ve hız sınırları önemlidir. DeepSeek V4.1 Flash'ın token başına fiyatı düşüktür ve token başına ölçülmeyen BroadNet sabit fiyatlı planlarındaki modeldir. ReAct gibi araç çağıran modüller için GLM 5.3 veya Qwen3.8 27B kullanın.

BroadNet ile DSPy'ın önbelleği önemli mi?

DSPy, LM çağrılarını varsayılan olarak önbelleğe alır (cache=True); aynı çağrıyı tekrarlamak hiçbir şeye mal olmaz. Bağlantıyı kontrol ederken cache=False ayarlayın; aksi hâlde önbellekteki bir yanıta bakıyor olabilirsiniz.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor