LlamaIndex es un framework de Python para RAG y agentes. Para cualquier API compatible con OpenAI que no sea la propia OpenAI, ofrece la clase OpenAILike. BroadNet Inference sirve chat completions estándar en https://inference.broadnet.ai/v1. BroadRouter es el sitio de BroadNet; esta guía sigue la referencia de la API de LlamaIndex para llama-index-llms-openai-like 0.9.0.
Instalación
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
Conexión y prueba
import os
from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
context_window=1048576,
is_chat_model=True,
is_function_calling_model=True,
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.complete("Name three uses for a vector index."))
Si se imprime una respuesta, la clave, la URL y el ID del modelo funcionan.
Los cuatro parámetros que importan
| Parámetro | Valor recomendado | Valor predeterminado si no lo configura |
|---|---|---|
is_chat_model |
True |
False, que usa el endpoint heredado de completions; BroadNet sirve chat completions |
context_window |
El contexto real del modelo | 3,900 tokens |
is_function_calling_model |
True solo para GLM 5.3 o Qwen3.8 27B |
False |
max_tokens |
1,000 o más | None (no se envía, así que decide el servidor) |
is_chat_model es el más importante. La referencia de la API dice que “controls whether the model uses the chat or completion endpoint” (traducción: controla si el modelo usa el endpoint de chat o el de completion) y que su valor predeterminado es false. La documentación de BroadNet lista /v1/chat/completions, no el endpoint de completions más antiguo.
Usarlo en toda la aplicación
from llama_index.core import Settings
Settings.llm = llm
Desde ese momento, los query engines, los chat engines y los agentes usan BroadNet. Los embeddings van aparte: la referencia de la API de BroadNet no lista un endpoint de embeddings, así que mantenga otro modelo de embeddings para la indexación.
Ventanas de contexto
| Modelo | ID | context_window |
Herramientas |
|---|---|---|---|
| GLM 5.3 | broadnet/glm-5.3 |
1048576 | Sí |
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
1048576 | No indicadas |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
262144 | Sí |
| BroadNet Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
32768 | No indicadas |
Un contexto de 1M de tokens permite que un query engine pase muchos más fragmentos recuperados por llamada. Eso no siempre es mejor; vea contexto largo frente a RAG.
Solución de problemas
- 401. La clave es incorrecta, venció o se quedó sin saldo.
- 404.
api_basedebe terminar en/v1, eis_chat_modeldebe serTrue. Luego verifique el ID del modelo. Los modelos de pago requieren una recarga; el crédito inicial de $5 cubre solobroadnet/gemma-4-26b-a4by los dos modelos Transcribe. - Respuestas vacías. El razonamiento agotó el presupuesto de salida. Aumente
max_tokens. Por qué las respuestas llegan vacías. - El agente nunca llama a herramientas. Configure
is_function_calling_model=Truey usebroadnet/glm-5.3obroadnet/qwen3.8-27b. - 429 durante la ingesta o en consultas por lotes. Una clave de pago por uso permite 30 solicitudes por minuto y 4 a la vez. OpenAILike reintenta 3 veces de forma predeterminada (
max_retries). Consulte errores y reintentos.
