BroadRouter
Começar

Como rotear o LiteLLM para a BroadNet Inference (SDK e proxy)

Atualizado em

No LiteLLM, coloque o prefixo openai/ antes do ID do modelo da BroadNet, como em openai/broadnet/glm-5.3, e defina api_base como https://inference.broadnet.ai/v1, com a sua chave da BroadNet em api_key. No proxy, coloque os mesmos valores em litellm_params no config.yaml e dê ao modelo um model_name curto.

O LiteLLM oferece uma interface única para muitos provedores de LLM, como SDK Python e como servidor proxy. Para acessar uma API compatível com a OpenAI, a documentação dele pede duas coisas: colocar openai/ antes do nome do modelo e definir api_base. A BroadNet Inference usa essa rota.

1. SDK Python

pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)

openai/ seleciona a rota; o LiteLLM envia broadnet/glm-5.3 para a BroadNet. Não acrescente nada à base URL: o client OpenAI do LiteLLM adiciona o caminho do endpoint. Como lembra o comentário no código, o raciocínio conta para max_tokens.

A documentação do LiteLLM observa que a rota openai usa a biblioteca Python oficial da OpenAI, que exige uma chave de API em toda requisição. Passe api_key explicitamente, como acima, para que o LiteLLM nunca recorra a uma OPENAI_API_KEY que é da própria OpenAI. A resposta volta no formato da OpenAI, então o resto do seu código não muda.

Quando usar o proxy

Dentro de um único app Python, o SDK basta. O proxy ajuda quando vários apps ou linguagens precisam dos mesmos modelos: todos chamam um único endpoint no estilo da OpenAI com nomes de modelo curtos, e o proxy guarda a chave da BroadNet, aplica rate limits e registra o uso. Seus apps passam a não precisar de nenhuma configuração específica da BroadNet.

2. Servidor proxy

Instale os extras do proxy e escreva o config.yaml:

pip install 'litellm[proxy]'
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

Inicie o proxy e chame-o como qualquer endpoint da OpenAI (rode o curl em um segundo terminal):

litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'

os.environ/BROADNET_API_KEY_GLM diz ao LiteLLM para ler essa chave do ambiente. Cada entrada usa a sua própria chave de pagamento por uso da BroadNet, então rpm: 30, o rate limit opcional do LiteLLM por deployment, corresponde ao limite de cada chave. Se várias entradas usam a mesma chave, elas dividem esse único limite, então reparta o número entre elas. O master_key faz o proxy exigir uma chave em toda chamada; a documentação do LiteLLM diz que ela precisa começar com sk-. Exporte LITELLM_MASTER_KEY antes de iniciar o proxy.

Qual modelo escolher

model_name Modelo da BroadNet Uso
glm GLM 5.3 Ferramentas, saída estruturada, contexto de 1M
deepseek-flash DeepSeek V4.1 Flash Contexto longo; o modelo do plano ilimitado
qwen Qwen3.8 27B Imagens, ferramentas, árabe
(adicione se precisar) Gemma 4 VL 26B Preço por token baixo; funciona com o crédito de $5

Os preços estão na página de preços. Se você está migrando de outro gateway, o checklist de migração mostra o que testar.

Solução de problemas

  • 401. A chave da BroadNet está errada, expirou ou ficou sem cota de pagamento por uso. Se o 401 vem do próprio proxy, confira a chave do LiteLLM que você enviou.
  • Not Found. Garanta que api_base seja https://inference.broadnet.ai/v1, com /v1. Se a base URL estiver certa, confira se o ID do modelo depois de openai/ é exatamente o da BroadNet.
  • Modelo recusado em uma conta nova. GLM 5.3, Qwen3.8 27B e DeepSeek V4.1 Flash exigem uma recarga antes; o crédito de $5 cobre só broadnet/gemma-4-26b-a4b e os dois modelos Transcribe.
  • Conteúdo vazio. O raciocínio conta para max_tokens. Aumente o valor ou envie reasoning_effort="low". Por que as respostas vêm vazias.
  • 429. Uma chave de pagamento por uso permite 30 requisições por minuto e 4 ao mesmo tempo. O rpm do LiteLLM ajuda no primeiro limite; para o segundo, mantenha no máximo 4 chamadas simultâneas por chave. Veja erros e novas tentativas.
  • Agentes em paralelo com uma chave de plano. Uma sessão do plano roda uma requisição por vez. Vários agentes passando pelo proxy na mesma sessão ficam em fila; compre uma sessão por agente em paralelo.

Perguntas frequentes

Por que o LiteLLM retorna erro Not Found?

A documentação do LiteLLM diz para garantir que api_base termine em /v1. Use https://inference.broadnet.ai/v1 e não acrescente /chat/completions.

Por que o nome do modelo é openai/broadnet/glm-5.3?

O prefixo openai/ diz ao LiteLLM para chamar um endpoint /chat/completions no estilo da OpenAI. O LiteLLM usa o prefixo para escolher a rota e envia o resto, broadnet/glm-5.3, que é o ID do modelo na BroadNet.

Posso colocar uma chave do plano ilimitado da BroadNet atrás de um proxy LiteLLM compartilhado?

Chaves de plano não podem ser compartilhadas nem revendidas, e uma sessão roda uma requisição por vez. Use essas chaves nos seus próprios agentes. Para um proxy de equipe, use chaves de pagamento por uso.

O LiteLLM precisa de OPENAI_API_KEY para chamar a BroadNet?

A rota openai exige uma chave em toda requisição, vinda de api_key ou de OPENAI_API_KEY. Passe a sua chave da BroadNet em api_key, ou os.environ/BROADNET_API_KEY no proxy, para que o LiteLLM não envie uma chave real da OpenAI para a BroadNet.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity