Instal langchain-openai lalu buat ChatOpenAI dengan base_url https://inference.broadnet.ai/v1, api_key berisi kunci BroadNet Anda, dan ID model BroadNet seperti broadnet/glm-5.3. Setelah itu chain invoke, stream, dan tool calling berjalan lewat chat completions. Hindari fitur yang hanya ada di Responses API, dan sisakan ruang untuk penalaran di max_tokens.
ChatOpenAI dari LangChain menerima endpoint apa pun lewat base_url. Cara ini berfungsi dengan BroadNet Inference karena BroadNet memakai format chat completions standar. Jika Anda ingin memanggil API secara langsung, lihat panduan Python SDK.
Instalasi
Rilis langchain-openai terbaru (1.x) membutuhkan Python 3.11 atau yang lebih baru.
import osfrom langchain_openai import ChatOpenAIllm = ChatOpenAI( model="broadnet/glm-5.3", base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_tokens=2000, # reasoning counts toward this limit)print(llm.invoke("Summarise the CAP theorem in two sentences.").content)
openai_api_base adalah alias untuk base_url. Jika keduanya tidak diisi, LangChain membaca OPENAI_API_BASE, lalu klien openai di bawahnya membaca OPENAI_BASE_URL. (Komentar di kode mengingatkan bahwa penalaran ikut dihitung dalam batas ini.)
Yang perlu diketahui
Teks penalaran tidak disimpan. Menurut dokumentasi LangChain, ChatOpenAI mengikuti spesifikasi resmi OpenAI dan tidak menyimpan field nonstandar seperti reasoning_content. Anda mendapat jawaban akhirnya, dan biasanya hanya itu yang dibutuhkan sebuah chain.
Sisakan ruang untuk penalaran. GLM 5.3, DeepSeek V4.1 Flash, dan Qwen3.8 27B bernalar lebih dulu. max_tokens yang kecil bisa menghasilkan jawaban kosong. Kenapa jawaban kembali kosong.
Usage saat streaming. Jika endpoint dikonfigurasi lewat OPENAI_BASE_URL, LangChain mematikan stream_usage secara default. Tambahkan stream_usage=True jika Anda ingin jumlah token saat streaming. Menurut dokumentasi BroadNet, usage dikirim di chunk terakhir jika diminta.
Tetap di chat completions. BroadNet melayani /v1/chat/completions, bukan Responses API. Menurut dokumentasi LangChain, ChatOpenAI beralih ke Responses API jika Anda memakai tool bawaan OpenAI (web search, file search, code interpreter, dan sejenisnya), state percakapan, atau parameter reasoning. Jangan pakai fitur-fitur itu, dan jangan atur use_responses_api=True.
Nama batas token. Menurut dokumentasi LangChain, max_tokens diubah secara internal menjadi max_completion_tokens. Dokumentasi BroadNet menjelaskan max_tokens. Jika sebuah batas tampak diabaikan, periksa permintaan yang dikirim aplikasi Anda.
401. Kuncinya salah, kedaluwarsa, atau jatah bayar sesuai pemakaian sudah habis. Jika Anda tidak mengisi api_key, LangChain memakai OPENAI_API_KEY, yang mungkin berisi kunci OpenAI.
404 atau “not found”. Pastikan base_url diakhiri /v1 dan tidak ada yang mengarahkan panggilan ke Responses API (lihat di atas). Lalu pastikan ID model sama persis dengan milik BroadNet, termasuk prefiks broadnet/. Model berbayar memerlukan top up; kredit $5 hanya mencakup broadnet/gemma-4-26b-a4b.
Tool call tidak pernah terjadi. Gunakan broadnet/glm-5.3 atau broadnet/qwen3.8-27b. Dokumentasi BroadNet hanya mencantumkan tools untuk kedua model itu.
429 pada chain batch atau paralel. Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan sekaligus. Atur max_concurrency di konfigurasi runnable untuk batch(). Lihat kode error dan percobaan ulang.
Pertanyaan umum
Di ChatOpenAI, sebaiknya pakai base_url atau openai_api_base?
Keduanya bisa. openai_api_base adalah alias untuk base_url. Jika keduanya tidak diisi, LangChain memeriksa OPENAI_API_BASE, lalu klien openai membaca OPENAI_BASE_URL.
Bisakah endpoint BroadNet diatur hanya dengan environment variable?
Bisa. Atur OPENAI_BASE_URL ke https://inference.broadnet.ai/v1 dan OPENAI_API_KEY ke kunci BroadNet Anda, lalu buat ChatOpenAI hanya dengan ID model. Tambahkan stream_usage=True jika Anda ingin jumlah token saat streaming.
Kenapa LangChain membuang reasoning_content dari respons BroadNet?
Menurut dokumentasi LangChain, ChatOpenAI mengikuti spesifikasi resmi OpenAI dan tidak mengambil field nonstandar seperti reasoning_content. Jawaban akhirnya tetap ada di content.
Apakah ChatOpenAI dengan BroadNet mendukung tool calling?
Ya, lewat bind_tools, pada model yang dicantumkan BroadNet dengan dukungan tools. Gunakan broadnet/glm-5.3 atau broadnet/qwen3.8-27b untuk tool calling dan with_structured_output.