Tumatanggap ang ChatOpenAI ng LangChain ng kahit anong endpoint sa pamamagitan ng base_url. Gumagana ito sa BroadNet Inference dahil sinusunod nito ang karaniwang format ng chat completions. Kung direkta mong tatawagin ang API, tingnan ang gabay sa Python SDK.
Mag-install
Kailangan ng mga kasalukuyang release ng langchain-openai (1.x) ang Python 3.11 o mas bago.
pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'
Kumonekta
Sa example sa ibaba, naka-set ang max_tokens sa 2000; ipinapaalala ng comment sa code na kasama ang reasoning sa limit na ito.
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.invoke("Summarise the CAP theorem in two sentences.").content)
Alias ng base_url ang openai_api_base. Kung wala ang alinman, babasahin ng LangChain ang OPENAI_API_BASE, at pagkatapos ay babasahin ng pinagbabatayang openai client ang OPENAI_BASE_URL.
Mga dapat malaman
- Hindi itinatago ang reasoning text. Ayon sa docs ng LangChain, sinusunod ng
ChatOpenAIang opisyal na OpenAI specification at hindi nito itinatago ang mga non-standard na field gaya ngreasoning_content. Makukuha mo ang huling sagot, na kadalasan ay siya namang kailangan ng isang chain. - Maglaan ng espasyo para sa reasoning. Nagre-reason muna ang GLM 5.3, DeepSeek V4.1 Flash at Qwen3.8 27B. Puwedeng walang lamang sagot ang ibalik ng maliit na
max_tokens. Bakit walang laman ang mga sagot. - Usage habang nag-i-stream. Kapag
OPENAI_BASE_URLang gamit mo para i-configure ang endpoint, pinapatay ng LangChain angstream_usagebilang default. Ipasa angstream_usage=Truekung gusto mo ng bilang ng token habang nag-i-stream. Ayon sa docs ng BroadNet, dumarating ang usage sa huling chunk kapag hiniling ito. - Manatili sa chat completions.
/v1/chat/completionsang sine-serve ng BroadNet, hindi ang Responses API. Ayon sa docs ng LangChain, lumilipat angChatOpenAIsa Responses API kapag gumamit ka ng built-in tools ng OpenAI (web search, file search, code interpreter at iba pa), conversation state, o ngreasoningparameter. Huwag gamitin ang mga iyon, at huwag i-set anguse_responses_api=True. - Pangalan ng token limit. Ayon sa docs ng LangChain, kino-convert nito ang
max_tokenssamax_completion_tokenssa loob.max_tokensang inilalarawan ng docs ng BroadNet. Kung parang hindi sinusunod ang limit, suriin ang request na ipinapadala ng app mo.
Aling model para sa aling chain
| Chain | Model |
|---|---|
| Tool calling at structured output | broadnet/glm-5.3 |
| Mahahabang dokumento at agent, unlimited na plan | broadnet/deepseek-v4.1-flash |
| Arabic na text o mga larawan | broadnet/qwen3.8-27b |
Tingnan ang presyo ng bawat model.
Troubleshooting
- 401. Mali o expired ang key, o ubos na ang pay-as-you-go allowance. Kung wala kang ipinasang
api_key,OPENAI_API_KEYang ginamit ng LangChain, na posibleng OpenAI key ang laman. - 404 o “not found”. Tiyaking nagtatapos sa
/v1angbase_urlat walang nagpapadala ng call sa Responses API (tingnan sa itaas). Pagkatapos, tiyaking eksaktong tugma ang model ID sa BroadNet, kasama angbroadnet/prefix. Kailangan ng top-up para sa mga bayad na model; angbroadnet/gemma-4-26b-a4bat ang dalawang Transcribe model lang ang sakop ng $5 na credit. - Walang laman ang
content. Naubos ng reasoning ang budget. Taasan angmax_tokens. Bakit walang laman ang mga sagot. - Hindi kailanman nangyayari ang tool calls. Gamitin ang
broadnet/glm-5.3obroadnet/qwen3.8-27b. Ang dalawang iyon lang ang may nakalistang tools sa docs ng BroadNet. - 429 sa batch o parallel na chain. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 nang sabay-sabay. I-set ang
max_concurrencysa runnable config para sabatch(). Tingnan ang mga error code at retry.
