BroadRouter

Dùng DSPy với BroadNet Inference (đặt model_type="chat")

Cập nhật

Tạo dspy.LM với model "openai/broadnet/glm-5.3", model_type="chat", api_base là https://inference.broadnet.ai/v1 và api_key BroadNet, rồi truyền vào dspy.configure. model_type="chat" là điểm mấu chốt: DSPy 3.5 mặc định đưa model có tiền tố OpenAI tới Responses API, mà BroadNet không phục vụ. Trong thử nghiệm với mock server của chúng tôi, thiếu nó thì lời gọi tới /v1/responses và nhận lỗi 404, và endpoint thật của BroadNet cũng trả lời đường dẫn đó bằng lỗi 404.

DSPy là framework Python để lập trình language model bằng signature và module, và để tối ưu các prompt đằng sau chúng. Bạn kết nối nó với model qua dspy.LM. Tài liệu DSPy trình bày server tương thích OpenAI dưới dạng một model openai/ kèm api_base. Với BroadNet Inference, vốn phục vụ chat completions tại https://inference.broadnet.ai/v1, bạn còn cần model_type="chat". BroadRouter là website của chính BroadNet; bài này làm theo tài liệu DSPy cho bản 3.5.

Cài đặt

pip install dspy
export BROADNET_API_KEY='your-broadnet-key'

Kết nối

import os
import dspy

lm = dspy.LM(
    "openai/broadnet/glm-5.3",
    model_type="chat",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
dspy.configure(lm=lm)

qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
  • openai/ báo cho DSPy dùng client OpenAI. Phần còn lại của chuỗi, broadnet/glm-5.3, là model ID gửi tới BroadNet.
  • model_type="chat" giữ DSPy ở /v1/chat/completions. Tài liệu tham chiếu LM của DSPy nói giá trị mặc định 'auto' khiến model OpenAI “use Responses” (Bản dịch: dùng Responses).
  • max_tokens chừa chỗ cho suy luận. DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy nghĩ trước khi trả lời, và phần suy nghĩ được tính vào giới hạn.

Chuyện gì xảy ra khi thiếu model_type

Ví dụ cho server tương thích OpenAI trên trang cài đặt của DSPy không có model_type. Khi chúng tôi thử với DSPy 3.5.0, request được gửi tới /v1/responses kèm max_output_tokens, và lời gọi thất bại:

dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served

Lỗi đó đến từ mock server của chúng tôi. Endpoint thật của BroadNet cũng trả lời /v1/responses bằng lỗi 404 khi chúng tôi kiểm tra ngày 2026-11-16. Thêm model_type="chat" là hết lỗi.

Module và model

cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
Cách dùng DSPy Model
Predict, ChainOfThought, chạy optimizer broadnet/deepseek-v4.1-flash (giá theo token thấp; gói giá cố định)
ReAct và các module gọi tool khác broadnet/glm-5.3 hoặc broadnet/qwen3.8-27b
Thử DSPy bằng tín dụng ban đầu broadnet/gemma-4-26b-a4b (context 32.768 token)

Tài liệu BroadNet chỉ ghi hỗ trợ tool và đầu ra có cấu trúc cho GLM 5.3 và Qwen3.8 27B. Bạn có thể dùng một model cho chương trình và một model khác cho optimizer, mỗi cái có dspy.LM riêng. Giá của mọi model.

Chúng tôi đã kiểm thử thế nào

Ngày 2026-11-15, chúng tôi cài dspy 3.5.0 trong một môi trường ảo sạch và chạy dspy.Predict với một mock server cục bộ nói cùng cấu trúc chat completions của BroadNet và trả lời /v1/responses bằng lỗi 404. Thiếu model_type, DSPy gọi /v1/responses và thất bại. Có model_type="chat", nó gọi /v1/chat/completions với model ID broadnet/glm-5.3 và key Bearer, rồi parse được trường answer. Chúng tôi thấy DSPy gửi giới hạn đầu ra dưới dạng max_completion_tokens. Tài liệu tham chiếu API của BroadNet mô tả max_tokens và không nhắc tới max_completion_tokens, nên chúng tôi không thể xác nhận BroadNet có áp dụng giới hạn gửi theo cách đó hay không. Chúng tôi thử với mock server chứ không dùng key BroadNet, nên chưa kiểm tra đầu ra thật của model.

Xử lý sự cố

  • 404 trên /v1/responses. Thêm model_type="chat".
  • 404 trên /v1/chat/completions. api_base phải kết thúc bằng /v1, và chuỗi model phải là openai/ cộng với đầy đủ ID BroadNet. Các model trả phí cần nạp tiền; tín dụng $5 chỉ dùng được cho broadnet/gemma-4-26b-a4b và hai model Transcribe.
  • “Expected to find output fields”. Câu trả lời bị rỗng hoặc bị cắt ngắn, thường vì phần suy luận đã dùng hết ngân sách đầu ra. Hãy tăng max_tokens. Vì sao câu trả lời trả về rỗng.
  • 429 trong lúc tối ưu. Key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang xử lý. Hãy giảm số thread của optimizer và xem lỗi và thử lại.

Câu hỏi thường gặp

Vì sao DSPy gọi /v1/responses trên BroadNet?

Tài liệu tham chiếu dspy.LM của DSPy 3.5 nói model_type 'auto', giá trị mặc định, khiến model OpenAI dùng Responses API. Model openai/ với api_base tùy chỉnh cũng bị xử lý như vậy. Hãy truyền model_type="chat" để dùng chat completions, thứ BroadNet phục vụ.

Viết model ID của BroadNet trong DSPy thế nào?

Đặt openai/ trước ID BroadNet, ví dụ openai/broadnet/glm-5.3. DSPy dùng openai/ để chọn client và, khi chúng tôi thử, đã gửi broadnet/glm-5.3 làm model.

Model BroadNet nào hợp với optimizer của DSPy?

Optimizer gọi model rất nhiều lần, nên chi phí và rate limit rất quan trọng. DeepSeek V4.1 Flash có giá theo token thấp và là model của các gói giá cố định của BroadNet, vốn không tính theo token. Dùng GLM 5.3 hoặc Qwen3.8 27B cho các module gọi tool, như ReAct.

Cache của DSPy có ảnh hưởng khi dùng BroadNet không?

DSPy mặc định cache các lời gọi LM (cache=True), nên lặp lại cùng một lời gọi không tốn tiền. Hãy đặt cache=False khi đang kiểm tra kết nối, nếu không bạn có thể đang nhìn một câu trả lời từ cache.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity