Uma aplicação que conversa com um único modelo não precisa de router. Os routers aparecem quando uma equipe usa vários modelos ou provedores e quer um único lugar para escolher entre eles.
Como funciona
A aplicação envia ao router uma requisição no estilo da OpenAI. O router aplica suas regras, encaminha a requisição para um backend e devolve a resposta no mesmo formato. Há três tipos comuns:
- Agregadores hospedados. O OpenRouter, por exemplo, oferece “hundreds of AI models through a single API endpoint” (tradução: centenas de modelos de IA por meio de um único endpoint de API) em
https://openrouter.ai/api/v1, com fallbacks automáticos. Você tem uma chave e uma fatura; o agregador mantém as contas com os provedores. - Gateways self-hosted. O LiteLLM Router roda na sua própria infraestrutura. Ele distribui o tráfego entre deployments (simple shuffle por padrão, ou com base em latência, uso ou custo), repete erros de rate limit com backoff exponencial e coloca um deployment em cooldown depois de um 429 ou de uma taxa alta de falhas.
- Roteadores de escolha de modelo. Pesquisas como o RouteLLM treinam um classificador que envia prompts fáceis a um modelo mais barato e os difíceis a um modelo mais forte, para cortar custos sem perder qualidade.
Um gateway self-hosted é configurado como uma lista de backends. Esta entrada do LiteLLM adiciona um provedor compatível com a OpenAI:
model_list:
- model_name: flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY
Por que importa
- Confiabilidade. Um router pode fazer failover quando um provedor retorna erros 429 ou 5xx. Veja rate limit.
- Custo. Mandar prompts simples para um modelo mais barato pode reduzir a conta.
- Uma só integração. O código conversa com uma única base URL e um único formato de chave.
Os trade-offs são reais. Um router adiciona um salto de rede. Um router hospedado é mais uma parte que vê os seus prompts, então a retenção depende tanto do router quanto do provedor que ele escolhe. Os modelos também diferem em tokenizer, comportamento de raciocínio e suporte a parâmetros, então um fallback silencioso pode mudar as respostas.
Na BroadNet Inference
A BroadNet Inference não é um router. É um único provedor com uma lista de modelos curta, em https://inference.broadnet.ai/v1; os Termos da BroadNet dizem que os modelos dela rodam em hardware nos EUA, próprio ou alugado pela BroadNet, ou com parceiros de inferência nos EUA. Não há roteamento automático nem fallback entre provedores. Você escolhe o modelo em cada requisição, por exemplo broadnet/deepseek-v4.1-flash ou broadnet/glm-5.3.
Como a API é compatível com a OpenAI, ela pode ficar atrás de um router como um dos backends. O guia do proxy LiteLLM mostra a configuração. Para comparar um router com um provedor de preço fixo, leia alternativa ao OpenRouter para agentes. A BroadNet não retém prompts nem saídas; se você colocar um router hospedado na frente, verifique também a retenção de dados dele.
Erros comuns
- Repetir um 401 ou 403 em outro provedor. São erros de chave ou de política; corrija-os primeiro. Veja erros e novas tentativas.
- Tratar nomes de modelos como intercambiáveis. Teste cada modelo de fallback com os seus próprios prompts.