Una aplicación que habla con un solo modelo no necesita un router. Los routers aparecen cuando un equipo usa varios modelos o proveedores y quiere un único lugar para elegir entre ellos.
Cómo funciona
La aplicación envía al router una solicitud al estilo OpenAI. El router aplica sus reglas, reenvía la solicitud a un backend y devuelve la respuesta en el mismo formato. Hay tres tipos habituales:
- Agregadores alojados. OpenRouter, por ejemplo, ofrece “hundreds of AI models through a single API endpoint” (traducción: cientos de modelos de IA a través de un único endpoint de API) en
https://openrouter.ai/api/v1, con fallbacks automáticos. Usted tiene una clave y una factura; el agregador mantiene las cuentas con los proveedores. - Gateways autoalojados. LiteLLM Router se ejecuta en su propia infraestructura. Reparte el tráfico entre despliegues (simple shuffle por defecto, o según latencia, uso o costo), reintenta los errores de límite de frecuencia con backoff exponencial y pone un despliegue en cooldown tras un 429 o una tasa de fallos alta.
- Routers de elección de modelo. Investigaciones como RouteLLM entrenan un clasificador que envía los prompts fáciles a un modelo más barato y los difíciles a uno más potente, para reducir costos sin perder calidad.
Un gateway autoalojado se configura como una lista de backends. Esta entrada de LiteLLM añade un proveedor compatible con OpenAI:
model_list:
- model_name: flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY
Por qué importa
- Fiabilidad. Un router puede conmutar a otro proveedor cuando uno devuelve errores 429 o 5xx. Consulte límites de frecuencia.
- Costo. Enviar los prompts sencillos a un modelo más barato puede reducir la factura.
- Una sola integración. El código habla con una sola base URL y un único formato de clave.
Los inconvenientes son reales. Un router añade un salto de red. Un router alojado es una parte más que ve sus prompts, así que la retención depende tanto del router como del proveedor que elija. Los modelos también difieren en tokenizadores, comportamiento de razonamiento y soporte de parámetros, por lo que un fallback silencioso puede cambiar las respuestas.
En BroadNet Inference
BroadNet Inference no es un router. Es un único proveedor con una lista breve de modelos en https://inference.broadnet.ai/v1; los Términos de BroadNet dicen que sus modelos se ejecutan en hardware en EE. UU. propiedad de BroadNet o arrendado, o con socios de inferencia de EE. UU. No hay enrutado automático ni fallback entre proveedores. Usted elige el modelo en cada solicitud, por ejemplo broadnet/deepseek-v4.1-flash o broadnet/glm-5.3.
Como la API es compatible con OpenAI, puede situarse detrás de un router como un backend más. La guía del proxy de LiteLLM muestra la configuración. Para comparar un router con un proveedor de tarifa plana, lea alternativa a OpenRouter para agentes. BroadNet no conserva prompts ni salidas; si añade un router alojado delante, revise también su retención de datos.
Errores comunes
- Reintentar un 401 o un 403 en otro proveedor. Son errores de clave o de política; corríjalos primero. Consulte errores y reintentos.
- Tratar los nombres de modelo como intercambiables. Pruebe cada modelo de fallback con sus propios prompts.