LiteLLM ofrece una sola interfaz para muchos proveedores de LLM, como SDK de Python y como servidor proxy. Para llegar a una API compatible con OpenAI, su documentación indica dos cosas: poner openai/ delante del nombre del modelo y configurar api_base. BroadNet Inference usa esa ruta.
1. SDK de Python
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
import os
import litellm
response = litellm.completion(
model="openai/broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000, # reasoning counts toward this
messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
openai/ selecciona la ruta; LiteLLM envía broadnet/glm-5.3 a BroadNet. No agregue nada a la URL base; el cliente de OpenAI de LiteLLM añade la ruta del endpoint.
La documentación de LiteLLM señala que la ruta openai usa la biblioteca oficial de OpenAI para Python, que necesita una clave de API en cada solicitud. Pase api_key de forma explícita, como arriba, para que LiteLLM nunca recurra a un OPENAI_API_KEY pensado para la propia OpenAI. La respuesta vuelve con el formato de OpenAI, así que el resto de su código no cambia.
Cuándo usar el proxy
El SDK basta dentro de una sola aplicación de Python. El proxy ayuda cuando varias aplicaciones o lenguajes necesitan los mismos modelos: todas llaman a un único endpoint al estilo de OpenAI con nombres de modelo cortos, y el proxy guarda la clave de BroadNet, aplica límites de frecuencia y registra el uso. Así, sus aplicaciones no necesitan ninguna configuración específica de BroadNet.
2. Servidor proxy
Instale los extras del proxy y escriba config.yaml:
pip install 'litellm[proxy]'
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_GLM
rpm: 30
- model_name: deepseek-flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
rpm: 30
- model_name: qwen
litellm_params:
model: openai/broadnet/qwen3.8-27b
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_QWEN
rpm: 30
general_settings:
master_key: os.environ/LITELLM_MASTER_KEY
Inícielo y llámelo como a cualquier endpoint de OpenAI:
litellm --config config.yaml
# in a second terminal
curl http://localhost:4000/chat/completions \
-H "Authorization: Bearer $LITELLM_MASTER_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
os.environ/BROADNET_API_KEY_GLM le indica a LiteLLM que lea esa clave del entorno. Cada entrada usa su propia clave de pago por uso de BroadNet, así que rpm: 30, el límite de frecuencia opcional de LiteLLM por despliegue, coincide con el límite de cada clave. Si varias entradas comparten una clave, comparten también ese único límite, así que reparta el número entre ellas. master_key hace que el proxy exija una clave en cada llamada; la documentación de LiteLLM dice que debe empezar por sk-. Exporte LITELLM_MASTER_KEY antes de iniciar el proxy.
Qué modelo elegir
| model_name | Modelo de BroadNet | Uso |
|---|---|---|
glm |
GLM 5.3 | Herramientas, salida estructurada, contexto de 1M |
deepseek-flash |
DeepSeek V4.1 Flash | Contexto largo; el modelo del plan ilimitado |
qwen |
Qwen3.8 27B | Imágenes, herramientas, árabe |
| (agréguelo si lo necesita) | Gemma 4 VL 26B | Precio por token bajo; funciona con el crédito de $5 |
Los precios están en la página de precios. Si viene de otro gateway, la lista de verificación de migración cubre qué probar.
Solución de problemas
- 401. La clave de BroadNet es incorrecta, venció o se quedó sin saldo de pago por uso. Si el 401 viene del propio proxy, revise en cambio la clave de LiteLLM que envió.
- Not Found. Asegúrese de que
api_baseseahttps://inference.broadnet.ai/v1con/v1. Si la URL base es correcta, verifique que el ID de modelo después deopenai/coincida exactamente con el de BroadNet. - Modelo rechazado en una cuenta nueva. GLM 5.3, Qwen3.8 27B y DeepSeek V4.1 Flash requieren primero una recarga; el crédito de $5 cubre solo
broadnet/gemma-4-26b-a4by los dos modelos Transcribe. - Contenido vacío. El razonamiento cuenta para
max_tokens. Auméntelo o envíereasoning_effort="low". Por qué las respuestas llegan vacías. - 429. Una clave de pago por uso permite 30 solicitudes por minuto y 4 a la vez. El
rpmde LiteLLM ayuda con lo primero; mantenga 4 llamadores simultáneos o menos por clave. Consulte errores y reintentos. - Agentes en paralelo con una clave de plan. Una sesión de plan ejecuta una solicitud a la vez. Ejecutar varios agentes a través del proxy con una sola sesión los pone en fila; compre una sesión por cada agente en paralelo.
