DSPy es un framework de Python para programar modelos de lenguaje con firmas (signatures) y módulos, y para optimizar los prompts que hay detrás. Se conecta a un modelo con dspy.LM. La documentación de DSPy presenta los servidores compatibles con OpenAI como un modelo openai/ con api_base. Con BroadNet Inference, que sirve chat completions en https://inference.broadnet.ai/v1, también necesita model_type="chat". BroadRouter es el sitio de la propia BroadNet; esta guía sigue la documentación de DSPy 3.5.
Instalación
pip install dspy
export BROADNET_API_KEY='your-broadnet-key'
Conexión
import os
import dspy
lm = dspy.LM(
"openai/broadnet/glm-5.3",
model_type="chat",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000,
)
dspy.configure(lm=lm)
qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
openai/le indica a DSPy que use su cliente de OpenAI. El resto de la cadena,broadnet/glm-5.3, es el ID de modelo que se envía a BroadNet.model_type="chat"mantiene a DSPy en/v1/chat/completions. La referencia de LM de DSPy dice que el valor predeterminado,'auto', hace que los modelos de OpenAI “use Responses” (traducción: usen Responses).max_tokensdeja margen para el razonamiento. DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B piensan antes de responder, y ese razonamiento cuenta dentro del límite.
Qué pasa sin model_type
El ejemplo de la página de instalación de DSPy para un servidor compatible con OpenAI omite model_type. En nuestra prueba con DSPy 3.5.0, eso envió la solicitud a /v1/responses con max_output_tokens, y la llamada falló:
dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served
Ese error vino de nuestro servidor simulado (mock). El endpoint real de BroadNet también respondió a /v1/responses con un 404 cuando lo comprobamos el 2026-11-16. Agregar model_type="chat" lo resolvió.
Módulos y modelos
cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
| Uso en DSPy | Modelo |
|---|---|
Predict, ChainOfThought, ejecuciones de optimizadores |
broadnet/deepseek-v4.1-flash (precio por token bajo; planes de precio fijo) |
ReAct y otros módulos que llaman a herramientas |
broadnet/glm-5.3 o broadnet/qwen3.8-27b |
| Probar DSPy con el crédito inicial | broadnet/gemma-4-26b-a4b (contexto de 32,768 tokens) |
La documentación de BroadNet indica herramientas y salida estructurada solo para GLM 5.3 y Qwen3.8 27B. Puede usar un modelo para el programa y otro para un optimizador, cada uno con su propio dspy.LM. Precios de todos los modelos.
Cómo lo probamos
El 2026-11-15 instalamos dspy 3.5.0 en un entorno virtual limpio y ejecutamos dspy.Predict contra un servidor simulado local que habla el formato de chat completions de BroadNet y responde a /v1/responses con un 404. Sin model_type, DSPy llamó a /v1/responses y falló. Con model_type="chat", llamó a /v1/chat/completions con el ID de modelo broadnet/glm-5.3 y una clave Bearer, y analizó el campo answer. Observamos que DSPy envió el límite de salida como max_completion_tokens. La referencia de la API de BroadNet describe max_tokens y no menciona max_completion_tokens, así que no podemos confirmar que BroadNet aplique un límite enviado de esa forma. Probamos contra un servidor simulado, no con una clave de BroadNet, así que no comprobamos la salida de un modelo real.
Solución de problemas
- 404 en /v1/responses. Agregue
model_type="chat". - 404 en /v1/chat/completions.
api_basedebe terminar en/v1, y la cadena del modelo debe seropenai/más el ID completo de BroadNet. Los modelos de pago requieren una recarga; el crédito de $5 cubre solobroadnet/gemma-4-26b-a4by los dos modelos Transcribe. - “Expected to find output fields”. (Traducción: se esperaba encontrar campos de salida.) La respuesta llegó vacía o cortada, a menudo porque el razonamiento agotó el presupuesto de salida. Aumente
max_tokens. Por qué las respuestas llegan vacías. - 429 durante la optimización. Una clave de pago por uso permite 30 solicitudes por minuto y 4 en curso. Reduzca el número de hilos del optimizador y consulte errores y reintentos.
