BroadRouter

Paano gamitin ang LangChain sa BroadNet Inference

Na-update

I-install ang langchain-openai at gawin ang ChatOpenAI na may base_url na https://inference.broadnet.ai/v1, api_key na BroadNet key mo, at isang BroadNet model ID gaya ng broadnet/glm-5.3. Tatakbo na sa chat completions ang invoke, stream at mga tool-calling chain. Iwasan ang mga feature na para lang sa Responses API, at maglaan ng espasyo sa max_tokens para sa reasoning.

Tumatanggap ang ChatOpenAI ng LangChain ng kahit anong endpoint sa pamamagitan ng base_url. Gumagana ito sa BroadNet Inference dahil sinusunod nito ang karaniwang format ng chat completions. Kung direkta mong tatawagin ang API, tingnan ang gabay sa Python SDK.

Mag-install

Kailangan ng mga kasalukuyang release ng langchain-openai (1.x) ang Python 3.11 o mas bago.

pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'

Kumonekta

Sa example sa ibaba, naka-set ang max_tokens sa 2000; ipinapaalala ng comment sa code na kasama ang reasoning sa limit na ito.

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.invoke("Summarise the CAP theorem in two sentences.").content)

Alias ng base_url ang openai_api_base. Kung wala ang alinman, babasahin ng LangChain ang OPENAI_API_BASE, at pagkatapos ay babasahin ng pinagbabatayang openai client ang OPENAI_BASE_URL.

Mga dapat malaman

  • Hindi itinatago ang reasoning text. Ayon sa docs ng LangChain, sinusunod ng ChatOpenAI ang opisyal na OpenAI specification at hindi nito itinatago ang mga non-standard na field gaya ng reasoning_content. Makukuha mo ang huling sagot, na kadalasan ay siya namang kailangan ng isang chain.
  • Maglaan ng espasyo para sa reasoning. Nagre-reason muna ang GLM 5.3, DeepSeek V4.1 Flash at Qwen3.8 27B. Puwedeng walang lamang sagot ang ibalik ng maliit na max_tokens. Bakit walang laman ang mga sagot.
  • Usage habang nag-i-stream. Kapag OPENAI_BASE_URL ang gamit mo para i-configure ang endpoint, pinapatay ng LangChain ang stream_usage bilang default. Ipasa ang stream_usage=True kung gusto mo ng bilang ng token habang nag-i-stream. Ayon sa docs ng BroadNet, dumarating ang usage sa huling chunk kapag hiniling ito.
  • Manatili sa chat completions. /v1/chat/completions ang sine-serve ng BroadNet, hindi ang Responses API. Ayon sa docs ng LangChain, lumilipat ang ChatOpenAI sa Responses API kapag gumamit ka ng built-in tools ng OpenAI (web search, file search, code interpreter at iba pa), conversation state, o ng reasoning parameter. Huwag gamitin ang mga iyon, at huwag i-set ang use_responses_api=True.
  • Pangalan ng token limit. Ayon sa docs ng LangChain, kino-convert nito ang max_tokens sa max_completion_tokens sa loob. max_tokens ang inilalarawan ng docs ng BroadNet. Kung parang hindi sinusunod ang limit, suriin ang request na ipinapadala ng app mo.

Aling model para sa aling chain

Chain Model
Tool calling at structured output broadnet/glm-5.3
Mahahabang dokumento at agent, unlimited na plan broadnet/deepseek-v4.1-flash
Arabic na text o mga larawan broadnet/qwen3.8-27b

Tingnan ang presyo ng bawat model.

Troubleshooting

  • 401. Mali o expired ang key, o ubos na ang pay-as-you-go allowance. Kung wala kang ipinasang api_key, OPENAI_API_KEY ang ginamit ng LangChain, na posibleng OpenAI key ang laman.
  • 404 o “not found”. Tiyaking nagtatapos sa /v1 ang base_url at walang nagpapadala ng call sa Responses API (tingnan sa itaas). Pagkatapos, tiyaking eksaktong tugma ang model ID sa BroadNet, kasama ang broadnet/ prefix. Kailangan ng top-up para sa mga bayad na model; ang broadnet/gemma-4-26b-a4b at ang dalawang Transcribe model lang ang sakop ng $5 na credit.
  • Walang laman ang content. Naubos ng reasoning ang budget. Taasan ang max_tokens. Bakit walang laman ang mga sagot.
  • Hindi kailanman nangyayari ang tool calls. Gamitin ang broadnet/glm-5.3 o broadnet/qwen3.8-27b. Ang dalawang iyon lang ang may nakalistang tools sa docs ng BroadNet.
  • 429 sa batch o parallel na chain. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 nang sabay-sabay. I-set ang max_concurrency sa runnable config para sa batch(). Tingnan ang mga error code at retry.

Mga tanong

base_url o openai_api_base ba ang dapat kong gamitin sa ChatOpenAI?

Alinman. Alias ng base_url ang openai_api_base. Kung wala sa dalawa ang ipinasa, titingnan ng LangChain ang OPENAI_API_BASE, saka babasahin ng openai client ang OPENAI_BASE_URL.

Puwede ko bang i-set ang BroadNet endpoint gamit lang ang environment variables?

Oo. I-set ang OPENAI_BASE_URL sa https://inference.broadnet.ai/v1 at ang OPENAI_API_KEY sa BroadNet key mo, saka gawin ang ChatOpenAI na model ID lang ang ibinibigay. Ipasa ang stream_usage=True kung gusto mo ng bilang ng token habang nag-i-stream.

Bakit tinatanggal ng LangChain ang reasoning_content sa mga response ng BroadNet?

Ayon sa docs ng LangChain, sinusunod ng ChatOpenAI ang opisyal na OpenAI specification at hindi nito kinukuha ang mga non-standard na field gaya ng reasoning_content. Makukuha mo pa rin ang huling sagot sa content.

Sinusuportahan ba ng ChatOpenAI ang tool calling sa BroadNet?

Oo, sa pamamagitan ng bind_tools, sa mga model na nakalista sa BroadNet na may tools. Gamitin ang broadnet/glm-5.3 o broadnet/qwen3.8-27b para sa tool calling at with_structured_output.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity