O LlamaIndex é um framework Python para RAG e agentes. Para qualquer API compatível com a OpenAI que não seja a própria OpenAI, ele oferece a classe OpenAILike. A BroadNet Inference serve chat completions padrão em https://inference.broadnet.ai/v1. O BroadRouter é o site da própria BroadNet; este guia segue a referência da API do LlamaIndex para o llama-index-llms-openai-like 0.9.0.
Instalação
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
Conectar e testar
import os
from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
context_window=1048576,
is_chat_model=True,
is_function_calling_model=True,
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.complete("Name three uses for a vector index."))
Se uma resposta for impressa, a chave, a URL e o ID do modelo funcionam. O comentário no código lembra que o raciocínio conta para esse limite.
As quatro configurações que importam
| Parâmetro | Defina como | Padrão se você não definir |
|---|---|---|
is_chat_model |
True |
False, que usa o endpoint legado de completions; a BroadNet serve chat completions |
context_window |
O contexto real do modelo | 3.900 tokens |
is_function_calling_model |
True só para GLM 5.3 ou Qwen3.8 27B |
False |
max_tokens |
1.000 ou mais | None (não é enviado, então o servidor decide) |
is_chat_model é o mais importante. A referência da API diz que ele “controls whether the model uses the chat or completion endpoint” (tradução: controla se o modelo usa o endpoint de chat ou o de completion) e que o padrão é false. A documentação da BroadNet lista /v1/chat/completions, não o endpoint de completions antigo.
Usar no app inteiro
from llama_index.core import Settings
Settings.llm = llm
Query engines, chat engines e agentes passam então a usar a BroadNet. Embeddings ficam à parte: a referência da API da BroadNet não lista um endpoint de embeddings, então mantenha outro modelo de embeddings para a indexação.
Janelas de contexto
| Modelo | ID | context_window |
Ferramentas |
|---|---|---|---|
| GLM 5.3 | broadnet/glm-5.3 |
1048576 | Sim |
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
1048576 | Não listado |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
262144 | Sim |
| BroadNet Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
32768 | Não listado |
Um contexto de 1M de tokens deixa um query engine passar muito mais chunks recuperados por chamada. Isso nem sempre é melhor; veja contexto longo ou RAG.
Solução de problemas
- 401. A chave está errada, expirou ou ficou sem cota.
- 404. O
api_baseprecisa terminar em/v1, eis_chat_modelprecisa serTrue. Depois confira o ID do modelo. Modelos pagos exigem uma recarga; o crédito de $5 cobre sóbroadnet/gemma-4-26b-a4be os dois modelos Transcribe. - Respostas vazias. O raciocínio consumiu o orçamento de saída. Aumente
max_tokens. Por que as respostas vêm vazias. - O agente nunca chama ferramentas. Defina
is_function_calling_model=Truee usebroadnet/glm-5.3oubroadnet/qwen3.8-27b. - 429 durante a ingestão ou consultas em lote. Uma chave de pagamento por uso permite 30 requisições por minuto e 4 em andamento. O OpenAILike tenta de novo 3 vezes por padrão (
max_retries). Veja erros e novas tentativas.
