BroadRouter

Guna DSPy dengan BroadNet Inference (tetapkan model_type="chat")

Dikemas kini

Cipta dspy.LM dengan model "openai/broadnet/glm-5.3", model_type="chat", api_base https://inference.broadnet.ai/v1 dan api_key BroadNet anda, kemudian hantarkannya kepada dspy.configure. Bahagian model_type="chat" penting: DSPy 3.5 menghantar model berawalan openai/ ke Responses API secara lalai, dan BroadNet tidak menyediakannya. Dalam ujian kami dengan pelayan olok-olok, tanpanya panggilan pergi ke /v1/responses dan mendapat 404, dan endpoint langsung BroadNet juga menjawab laluan itu dengan 404.

DSPy ialah rangka kerja Python untuk memprogram model bahasa dengan signature dan modul, serta untuk mengoptimumkan prompt di sebaliknya. Anda menyambungkannya kepada model dengan dspy.LM. Dokumentasi DSPy menunjukkan pelayan serasi OpenAI sebagai model openai/ dengan api_base. Untuk BroadNet Inference, yang menyediakan chat completions di https://inference.broadnet.ai/v1, anda juga memerlukan model_type="chat". BroadRouter ialah laman web BroadNet sendiri; panduan ini mengikut dokumentasi DSPy untuk versi 3.5.

Pasang

pip install dspy
export BROADNET_API_KEY='your-broadnet-key'

Sambung

import os
import dspy

lm = dspy.LM(
    "openai/broadnet/glm-5.3",
    model_type="chat",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
dspy.configure(lm=lm)

qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
  • openai/ memberitahu DSPy untuk menggunakan klien OpenAI-nya. Selebihnya rentetan itu, broadnet/glm-5.3, ialah ID model yang dihantar ke BroadNet.
  • model_type="chat" mengekalkan DSPy pada /v1/chat/completions. Rujukan LM DSPy menyatakan lalai 'auto' membuatkan model OpenAI “use Responses” (Terjemahan: menggunakan Responses).
  • max_tokens memberi ruang untuk penaakulan. DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B berfikir sebelum menjawab, dan pemikiran itu dikira dalam had.

Apa yang berlaku tanpa model_type

Contoh di halaman pemasangan DSPy untuk pelayan serasi OpenAI tidak menyertakan model_type. Dalam ujian kami dengan DSPy 3.5.0, permintaan dihantar ke /v1/responses dengan max_output_tokens, dan panggilan itu gagal:

dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served

Ralat itu datang daripada pelayan olok-olok (mock) kami. Endpoint langsung BroadNet juga menjawab /v1/responses dengan 404 apabila kami menyemaknya pada 2026-11-16. Menambah model_type="chat" membetulkannya.

Modul dan model

cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
Kegunaan DSPy Model
Predict, ChainOfThought, larian pengoptimum broadnet/deepseek-v4.1-flash (harga per token rendah; pelan harga tetap)
ReAct dan modul lain yang memanggil tools broadnet/glm-5.3 atau broadnet/qwen3.8-27b
Mencuba DSPy dengan kredit permulaan broadnet/gemma-4-26b-a4b (konteks 32,768 token)

Dokumentasi BroadNet menyenaraikan tools dan output berstruktur untuk GLM 5.3 dan Qwen3.8 27B sahaja. Anda boleh menggunakan satu model untuk program dan satu lagi untuk pengoptimum, masing-masing dengan dspy.LM sendiri. Harga setiap model.

Cara kami mengujinya

Pada 2026-11-15, kami memasang dspy 3.5.0 dalam persekitaran maya yang bersih dan menjalankan dspy.Predict terhadap pelayan olok-olok setempat yang menggunakan bentuk chat-completions BroadNet dan menjawab /v1/responses dengan 404. Tanpa model_type, DSPy memanggil /v1/responses dan gagal. Dengan model_type="chat", ia memanggil /v1/chat/completions dengan ID model broadnet/glm-5.3 dan kunci Bearer, lalu menghurai medan jawapan. Kami mendapati DSPy menghantar had output sebagai max_completion_tokens. Rujukan API BroadNet menerangkan max_tokens dan tidak menyebut max_completion_tokens, jadi kami tidak dapat mengesahkan bahawa BroadNet mengenakan had yang dihantar dengan cara itu. Kami menguji terhadap pelayan olok-olok, bukan dengan kunci BroadNet, jadi kami tidak menyemak output model sebenar.

Penyelesaian masalah

  • 404 pada /v1/responses. Tambah model_type="chat".
  • 404 pada /v1/chat/completions. api_base mesti berakhir dengan /v1, dan rentetan model mesti openai/ diikuti ID BroadNet penuh. Model berbayar memerlukan tambah nilai; kredit $5 hanya meliputi broadnet/gemma-4-26b-a4b dan dua model Transcribe.
  • “Expected to find output fields”. Jawapan kosong atau terpotong, selalunya kerana penaakulan telah menghabiskan bajet output. Naikkan max_tokens. Mengapa jawapan kosong.
  • 429 semasa pengoptimuman. Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. Kurangkan bilangan thread pengoptimum dan lihat ralat dan cuba semula.

Soalan lazim

Mengapakah DSPy memanggil /v1/responses pada BroadNet?

Rujukan dspy.LM dalam DSPy 3.5 menyatakan model_type 'auto', iaitu lalai, membuatkan model OpenAI menggunakan Responses API. Model openai/ dengan api_base tersuai dilayan dengan cara yang sama. Hantar model_type="chat" untuk menggunakan chat completions, iaitu apa yang disediakan oleh BroadNet.

Bagaimanakah saya menulis ID model BroadNet dalam DSPy?

Letakkan openai/ di hadapan ID BroadNet, contohnya openai/broadnet/glm-5.3. DSPy menggunakan openai/ untuk memilih klien dan, dalam ujian kami, menghantar broadnet/glm-5.3 sebagai model.

Model BroadNet manakah yang sesuai untuk pengoptimum DSPy?

Pengoptimum membuat banyak panggilan, jadi kos dan had kadar penting. DeepSeek V4.1 Flash mempunyai harga per token yang rendah dan merupakan model pada pelan harga tetap BroadNet, yang tidak dimeter mengikut token. Gunakan GLM 5.3 atau Qwen3.8 27B untuk modul yang memanggil tools, seperti ReAct.

Adakah cache DSPy memberi kesan dengan BroadNet?

DSPy menyimpan panggilan LM dalam cache secara lalai (cache=True), jadi mengulang panggilan yang sama tidak dikenakan kos. Tetapkan cache=False semasa anda menyemak sambungan, atau anda mungkin melihat jawapan daripada cache.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity