BroadRouter

Usar LlamaIndex con BroadNet Inference mediante OpenAILike

Actualizado

Instale llama-index-llms-openai-like y cree OpenAILike con model en un ID de BroadNet como broadnet/glm-5.3, api_base en https://inference.broadnet.ai/v1, su clave de BroadNet, context_window con el contexto real del modelo, is_chat_model=True e is_function_calling_model=True solo para GLM 5.3 o Qwen3.8 27B. Asígnelo a Settings.llm para usarlo en todas partes.

LlamaIndex es un framework de Python para RAG y agentes. Para cualquier API compatible con OpenAI que no sea la propia OpenAI, ofrece la clase OpenAILike. BroadNet Inference sirve chat completions estándar en https://inference.broadnet.ai/v1. BroadRouter es el sitio de BroadNet; esta guía sigue la referencia de la API de LlamaIndex para llama-index-llms-openai-like 0.9.0.

Instalación

pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'

Conexión y prueba

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))

Si se imprime una respuesta, la clave, la URL y el ID del modelo funcionan.

Los cuatro parámetros que importan

Parámetro Valor recomendado Valor predeterminado si no lo configura
is_chat_model True False, que usa el endpoint heredado de completions; BroadNet sirve chat completions
context_window El contexto real del modelo 3,900 tokens
is_function_calling_model True solo para GLM 5.3 o Qwen3.8 27B False
max_tokens 1,000 o más None (no se envía, así que decide el servidor)

is_chat_model es el más importante. La referencia de la API dice que “controls whether the model uses the chat or completion endpoint” (traducción: controla si el modelo usa el endpoint de chat o el de completion) y que su valor predeterminado es false. La documentación de BroadNet lista /v1/chat/completions, no el endpoint de completions más antiguo.

Usarlo en toda la aplicación

from llama_index.core import Settings

Settings.llm = llm

Desde ese momento, los query engines, los chat engines y los agentes usan BroadNet. Los embeddings van aparte: la referencia de la API de BroadNet no lista un endpoint de embeddings, así que mantenga otro modelo de embeddings para la indexación.

Ventanas de contexto

Modelo ID context_window Herramientas
GLM 5.3 broadnet/glm-5.3 1048576 Sí
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash 1048576 No indicadas
Qwen3.8 27B broadnet/qwen3.8-27b 262144 Sí
BroadNet Gemma 4 VL 26B broadnet/gemma-4-26b-a4b 32768 No indicadas

Un contexto de 1M de tokens permite que un query engine pase muchos más fragmentos recuperados por llamada. Eso no siempre es mejor; vea contexto largo frente a RAG.

Solución de problemas

  • 401. La clave es incorrecta, venció o se quedó sin saldo.
  • 404. api_base debe terminar en /v1, e is_chat_model debe ser True. Luego verifique el ID del modelo. Los modelos de pago requieren una recarga; el crédito inicial de $5 cubre solo broadnet/gemma-4-26b-a4b y los dos modelos Transcribe.
  • Respuestas vacías. El razonamiento agotó el presupuesto de salida. Aumente max_tokens. Por qué las respuestas llegan vacías.
  • El agente nunca llama a herramientas. Configure is_function_calling_model=True y use broadnet/glm-5.3 o broadnet/qwen3.8-27b.
  • 429 durante la ingesta o en consultas por lotes. Una clave de pago por uso permite 30 solicitudes por minuto y 4 a la vez. OpenAILike reintenta 3 veces de forma predeterminada (max_retries). Consulte errores y reintentos.

Preguntas frecuentes

¿Por qué no usar la clase OpenAI de LlamaIndex con otro api_base?

La propia página de OpenAI de LlamaIndex indica usar la integración OpenAILike para cualquier API compatible con OpenAI que no sea la API oficial de OpenAI. OpenAILike además le permite declarar usted mismo la ventana de contexto y el soporte de herramientas.

¿Qué pasa si no configuro context_window?

OpenAILike usa 3,900 tokens de forma predeterminada, así que LlamaIndex recorta los prompts y los fragmentos recuperados muy por debajo de lo que aceptan los modelos de BroadNet. Configure 1048576 para GLM 5.3 y DeepSeek V4.1 Flash, o 262144 para Qwen3.8 27B.

¿Un FunctionAgent de LlamaIndex puede usar BroadNet?

Sí, con is_function_calling_model=True en un modelo para el que BroadNet indica herramientas: GLM 5.3 o Qwen3.8 27B. Déjelo en False para DeepSeek V4.1 Flash, para el que la documentación de BroadNet no indica llamadas a herramientas.

¿BroadNet ofrece embeddings para un índice de LlamaIndex?

La referencia de la API de BroadNet lista chat completions y transcripciones de audio, no embeddings. Use un modelo de embeddings aparte para el índice y BroadNet para el LLM.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity