BroadRouter

Router de LLM (LLM router)

Actualizado

Un router de LLM es un software o servicio que se sitúa entre una aplicación y una o varias APIs de modelos de lenguaje y decide, para cada solicitud, qué modelo o proveedor la atiende, según reglas como el costo, la latencia, la disponibilidad o el tipo de tarea.

También llamado: router de LLM, enrutador de LLM, gateway de IA, gateway de LLM, agregador de LLM, LLM router, AI gateway, LLM gateway, model router, LLM aggregator

Una aplicación que habla con un solo modelo no necesita un router. Los routers aparecen cuando un equipo usa varios modelos o proveedores y quiere un único lugar para elegir entre ellos.

Cómo funciona

La aplicación envía al router una solicitud al estilo OpenAI. El router aplica sus reglas, reenvía la solicitud a un backend y devuelve la respuesta en el mismo formato. Hay tres tipos habituales:

  • Agregadores alojados. OpenRouter, por ejemplo, ofrece “hundreds of AI models through a single API endpoint” (traducción: cientos de modelos de IA a través de un único endpoint de API) en https://openrouter.ai/api/v1, con fallbacks automáticos. Usted tiene una clave y una factura; el agregador mantiene las cuentas con los proveedores.
  • Gateways autoalojados. LiteLLM Router se ejecuta en su propia infraestructura. Reparte el tráfico entre despliegues (simple shuffle por defecto, o según latencia, uso o costo), reintenta los errores de límite de frecuencia con backoff exponencial y pone un despliegue en cooldown tras un 429 o una tasa de fallos alta.
  • Routers de elección de modelo. Investigaciones como RouteLLM entrenan un clasificador que envía los prompts fáciles a un modelo más barato y los difíciles a uno más potente, para reducir costos sin perder calidad.

Un gateway autoalojado se configura como una lista de backends. Esta entrada de LiteLLM añade un proveedor compatible con OpenAI:

model_list:
  - model_name: flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY

Por qué importa

  • Fiabilidad. Un router puede conmutar a otro proveedor cuando uno devuelve errores 429 o 5xx. Consulte límites de frecuencia.
  • Costo. Enviar los prompts sencillos a un modelo más barato puede reducir la factura.
  • Una sola integración. El código habla con una sola base URL y un único formato de clave.

Los inconvenientes son reales. Un router añade un salto de red. Un router alojado es una parte más que ve sus prompts, así que la retención depende tanto del router como del proveedor que elija. Los modelos también difieren en tokenizadores, comportamiento de razonamiento y soporte de parámetros, por lo que un fallback silencioso puede cambiar las respuestas.

En BroadNet Inference

BroadNet Inference no es un router. Es un único proveedor con una lista breve de modelos en https://inference.broadnet.ai/v1; los Términos de BroadNet dicen que sus modelos se ejecutan en hardware en EE. UU. propiedad de BroadNet o arrendado, o con socios de inferencia de EE. UU. No hay enrutado automático ni fallback entre proveedores. Usted elige el modelo en cada solicitud, por ejemplo broadnet/deepseek-v4.1-flash o broadnet/glm-5.3.

Como la API es compatible con OpenAI, puede situarse detrás de un router como un backend más. La guía del proxy de LiteLLM muestra la configuración. Para comparar un router con un proveedor de tarifa plana, lea alternativa a OpenRouter para agentes. BroadNet no conserva prompts ni salidas; si añade un router alojado delante, revise también su retención de datos.

Errores comunes

  • Reintentar un 401 o un 403 en otro proveedor. Son errores de clave o de política; corríjalos primero. Consulte errores y reintentos.
  • Tratar los nombres de modelo como intercambiables. Pruebe cada modelo de fallback con sus propios prompts.

Preguntas frecuentes

¿Un router de LLM es lo mismo que un balanceador de carga?

Un balanceador de carga es una parte de un router. Un router también puede elegir otro modelo para una tarea, recurrir a otro proveedor tras un error y traducir entre formatos de API. Un balanceador de carga simple solo reparte el tráfico entre servidores idénticos.

¿Un router añade latencia?

Normalmente un poco, porque la solicitud hace un salto de red extra y el router puede inspeccionarla. Los fallbacks pueden añadir más, ya que un intento fallido se ejecuta antes del reintento. Mida el tiempo hasta el primer token con y sin el router.

¿BroadNet Inference es un router de LLM?

No. Pese al nombre de este sitio, BroadNet Inference es un único proveedor; los Términos de BroadNet dicen que sus modelos se ejecutan en hardware en EE. UU. propiedad de BroadNet o arrendado, o con socios de inferencia de EE. UU. Usted elige el modelo en cada solicitud. Puede ponerlo detrás de un router como uno de los proveedores.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity