O ChatOpenAI do LangChain aceita qualquer endpoint via base_url. Isso funciona com a BroadNet Inference porque ela usa o formato padrão de chat completions. Se você chama a API diretamente, veja o guia do SDK Python.
Instalação
As versões atuais do langchain-openai (1.x) exigem Python 3.11 ou mais recente.
pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'
Conexão
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.invoke("Summarise the CAP theorem in two sentences.").content)
openai_api_base é um alias de base_url. Sem nenhum dos dois, o LangChain lê OPENAI_API_BASE, e depois o cliente openai por baixo lê OPENAI_BASE_URL. O comentário no código lembra que o raciocínio conta para o limite de max_tokens.
O que você precisa saber
- O texto do raciocínio não é mantido. A documentação do LangChain diz que o
ChatOpenAIsegue a especificação oficial da OpenAI e não mantém campos fora do padrão, comoreasoning_content. Você recebe a resposta final, que costuma ser o que uma chain precisa. - Deixe espaço para o raciocínio. GLM 5.3, DeepSeek V4.1 Flash e Qwen3.8 27B raciocinam antes de responder. Um
max_tokenspequeno pode devolver uma resposta vazia. Por que as respostas vêm vazias. - Usage no streaming. Quando você configura o endpoint com
OPENAI_BASE_URL, o LangChain desligastream_usagepor padrão. Passestream_usage=Truese quiser a contagem de tokens durante o streaming. A documentação da BroadNet diz que o usage chega no último chunk quando é solicitado. - Fique em chat completions. A BroadNet oferece
/v1/chat/completions, não a Responses API. Segundo a documentação do LangChain, oChatOpenAImuda para a Responses API quando você usa as ferramentas nativas da OpenAI (web search, file search, code interpreter e similares), estado de conversa ou o parâmetroreasoning. Deixe isso de fora e não definause_responses_api=True. - Nome do limite de tokens. Segundo a documentação do LangChain,
max_tokensé convertido internamente emmax_completion_tokens. A documentação da BroadNet descrevemax_tokens. Se um limite parecer ignorado, confira a requisição que o seu app realmente envia.
Qual modelo para cada chain
| Chain | Modelo |
|---|---|
| Tool calling e saída estruturada | broadnet/glm-5.3 |
| Documentos longos e agentes, plano ilimitado | broadnet/deepseek-v4.1-flash |
| Texto em árabe ou imagens | broadnet/qwen3.8-27b |
Veja os preços de todos os modelos.
Solução de problemas
- 401. A chave está errada, expirou ou ficou sem cota de pagamento por uso. Se você não passou
api_key, o LangChain usouOPENAI_API_KEY, que pode conter uma chave da OpenAI. - 404 ou “not found”. Confira se
base_urltermina em/v1e se nada está desviando a chamada para a Responses API (veja acima). Depois confira se o ID do modelo é exatamente o da BroadNet, com o prefixobroadnet/. Modelos pagos exigem uma recarga; o crédito de $5 cobre sóbroadnet/gemma-4-26b-a4be os dois modelos Transcribe. contentvazio. O raciocínio consumiu o orçamento. Aumentemax_tokens. Por que as respostas vêm vazias.- As chamadas de ferramenta nunca acontecem. Use
broadnet/glm-5.3oubroadnet/qwen3.8-27b. A documentação da BroadNet lista ferramentas só para esses dois. - 429 em chains em lote ou paralelas. Uma chave de pagamento por uso permite 30 requisições por minuto e 4 ao mesmo tempo. Defina
max_concurrencyna configuração do runnable parabatch(). Veja códigos de erro e novas tentativas.
