BroadRouter

Cómo usar LangChain con BroadNet Inference

Actualizado

Instale langchain-openai y cree ChatOpenAI con base_url en https://inference.broadnet.ai/v1, api_key con su clave de BroadNet y un ID de modelo de BroadNet como broadnet/glm-5.3. Así, las cadenas con invoke, streaming y llamadas a herramientas funcionan sobre chat completions. Evite las funciones exclusivas de la Responses API y deje margen en max_tokens para el razonamiento.

ChatOpenAI de LangChain acepta cualquier endpoint mediante base_url. Funciona con BroadNet Inference porque esta usa el formato estándar de chat completions. Si en cambio llama a la API directamente, consulte la guía del SDK de Python.

Instalación

Las versiones actuales de langchain-openai (1.x) requieren Python 3.11 o posterior.

pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'

Conexión

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.invoke("Summarise the CAP theorem in two sentences.").content)

openai_api_base es un alias de base_url. Si no pasa ninguno, LangChain lee OPENAI_API_BASE, y después el cliente openai subyacente lee OPENAI_BASE_URL.

Lo que conviene saber

  • El texto de razonamiento no se conserva. La documentación de LangChain indica que ChatOpenAI sigue la especificación oficial de OpenAI y no conserva campos no estándar como reasoning_content. Usted recibe la respuesta final, que suele ser lo que necesita una cadena.
  • Deje margen para el razonamiento. GLM 5.3, DeepSeek V4.1 Flash y Qwen3.8 27B razonan primero. Un max_tokens pequeño puede devolver una respuesta vacía. Por qué las respuestas llegan vacías.
  • Uso durante el streaming. Cuando configura el endpoint con OPENAI_BASE_URL, LangChain desactiva stream_usage de forma predeterminada. Pase stream_usage=True si quiere el conteo de tokens durante el streaming. La documentación de BroadNet indica que el uso llega en el último fragmento cuando se solicita.
  • Quédese en chat completions. BroadNet sirve /v1/chat/completions, no la Responses API. La documentación de LangChain indica que ChatOpenAI cambia a la Responses API cuando usa las herramientas integradas de OpenAI (búsqueda web, búsqueda de archivos, intérprete de código y similares), el estado de conversación o el parámetro reasoning. No los use, y no configure use_responses_api=True.
  • Nombre del límite de tokens. La documentación de LangChain indica que max_tokens se convierte internamente en max_completion_tokens. La documentación de BroadNet describe max_tokens. Si un límite parece ignorarse, revise la solicitud que envía su aplicación.

Qué modelo para cada cadena

Cadena Modelo
Llamadas a herramientas y salida estructurada broadnet/glm-5.3
Documentos largos y agentes, plan ilimitado broadnet/deepseek-v4.1-flash
Texto o imágenes en árabe broadnet/qwen3.8-27b

Vea los precios de todos los modelos.

Solución de problemas

  • 401. La clave es incorrecta, venció o se quedó sin saldo de pago por uso. Si no pasó api_key, LangChain usó OPENAI_API_KEY, que puede contener una clave de OpenAI.
  • 404 o “not found”. Verifique que base_url termine en /v1 y que nada desvíe la llamada a la Responses API (vea arriba). Luego verifique que el ID del modelo coincida exactamente con el de BroadNet, con el prefijo broadnet/. Los modelos de pago requieren una recarga; el crédito inicial de $5 cubre broadnet/gemma-4-26b-a4b y los dos modelos Transcribe.
  • content vacío. El razonamiento agotó el presupuesto. Aumente max_tokens. Por qué las respuestas llegan vacías.
  • Nunca se producen llamadas a herramientas. Use broadnet/glm-5.3 o broadnet/qwen3.8-27b. La documentación de BroadNet indica herramientas solo para esos dos.
  • 429 en cadenas por lotes o en paralelo. Una clave de pago por uso permite 30 solicitudes por minuto y 4 a la vez. Configure max_concurrency en la configuración del runnable para batch(). Consulte códigos de error y reintentos.

Preguntas frecuentes

¿Uso base_url u openai_api_base en ChatOpenAI?

Cualquiera de los dos. openai_api_base es un alias de base_url. Si no pasa ninguno, LangChain busca OPENAI_API_BASE y luego el cliente openai lee OPENAI_BASE_URL.

¿Puedo configurar el endpoint de BroadNet solo con variables de entorno?

Sí. Defina OPENAI_BASE_URL como https://inference.broadnet.ai/v1 y OPENAI_API_KEY con su clave de BroadNet, y cree ChatOpenAI solo con el ID del modelo. Pase stream_usage=True si quiere el conteo de tokens durante el streaming.

¿Por qué LangChain descarta reasoning_content de las respuestas de BroadNet?

La documentación de LangChain indica que ChatOpenAI sigue la especificación oficial de OpenAI y no extrae campos no estándar como reasoning_content. La respuesta final sigue llegando en content.

¿ChatOpenAI con BroadNet admite llamadas a herramientas?

Sí, mediante bind_tools, en los modelos que BroadNet indica con soporte de herramientas. Use broadnet/glm-5.3 o broadnet/qwen3.8-27b para llamadas a herramientas y para with_structured_output.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity