BroadRouter

Memakai LangChain dengan BroadNet Inference

Diperbarui

Instal langchain-openai lalu buat ChatOpenAI dengan base_url https://inference.broadnet.ai/v1, api_key berisi kunci BroadNet Anda, dan ID model BroadNet seperti broadnet/glm-5.3. Setelah itu chain invoke, stream, dan tool calling berjalan lewat chat completions. Hindari fitur yang hanya ada di Responses API, dan sisakan ruang untuk penalaran di max_tokens.

ChatOpenAI dari LangChain menerima endpoint apa pun lewat base_url. Cara ini berfungsi dengan BroadNet Inference karena BroadNet memakai format chat completions standar. Jika Anda ingin memanggil API secara langsung, lihat panduan Python SDK.

Instalasi

Rilis langchain-openai terbaru (1.x) membutuhkan Python 3.11 atau yang lebih baru.

pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'

Menghubungkan

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.invoke("Summarise the CAP theorem in two sentences.").content)

openai_api_base adalah alias untuk base_url. Jika keduanya tidak diisi, LangChain membaca OPENAI_API_BASE, lalu klien openai di bawahnya membaca OPENAI_BASE_URL. (Komentar di kode mengingatkan bahwa penalaran ikut dihitung dalam batas ini.)

Yang perlu diketahui

  • Teks penalaran tidak disimpan. Menurut dokumentasi LangChain, ChatOpenAI mengikuti spesifikasi resmi OpenAI dan tidak menyimpan field nonstandar seperti reasoning_content. Anda mendapat jawaban akhirnya, dan biasanya hanya itu yang dibutuhkan sebuah chain.
  • Sisakan ruang untuk penalaran. GLM 5.3, DeepSeek V4.1 Flash, dan Qwen3.8 27B bernalar lebih dulu. max_tokens yang kecil bisa menghasilkan jawaban kosong. Kenapa jawaban kembali kosong.
  • Usage saat streaming. Jika endpoint dikonfigurasi lewat OPENAI_BASE_URL, LangChain mematikan stream_usage secara default. Tambahkan stream_usage=True jika Anda ingin jumlah token saat streaming. Menurut dokumentasi BroadNet, usage dikirim di chunk terakhir jika diminta.
  • Tetap di chat completions. BroadNet melayani /v1/chat/completions, bukan Responses API. Menurut dokumentasi LangChain, ChatOpenAI beralih ke Responses API jika Anda memakai tool bawaan OpenAI (web search, file search, code interpreter, dan sejenisnya), state percakapan, atau parameter reasoning. Jangan pakai fitur-fitur itu, dan jangan atur use_responses_api=True.
  • Nama batas token. Menurut dokumentasi LangChain, max_tokens diubah secara internal menjadi max_completion_tokens. Dokumentasi BroadNet menjelaskan max_tokens. Jika sebuah batas tampak diabaikan, periksa permintaan yang dikirim aplikasi Anda.

Model mana untuk chain apa

Chain Model
Tool calling dan output terstruktur broadnet/glm-5.3
Dokumen panjang dan agen, paket unlimited broadnet/deepseek-v4.1-flash
Teks atau gambar berbahasa Arab broadnet/qwen3.8-27b

Lihat harga semua model.

Pemecahan masalah

  • 401. Kuncinya salah, kedaluwarsa, atau jatah bayar sesuai pemakaian sudah habis. Jika Anda tidak mengisi api_key, LangChain memakai OPENAI_API_KEY, yang mungkin berisi kunci OpenAI.
  • 404 atau “not found”. Pastikan base_url diakhiri /v1 dan tidak ada yang mengarahkan panggilan ke Responses API (lihat di atas). Lalu pastikan ID model sama persis dengan milik BroadNet, termasuk prefiks broadnet/. Model berbayar memerlukan top up; kredit $5 hanya mencakup broadnet/gemma-4-26b-a4b.
  • content kosong. Penalaran menghabiskan anggaran. Naikkan max_tokens. Kenapa jawaban kembali kosong.
  • Tool call tidak pernah terjadi. Gunakan broadnet/glm-5.3 atau broadnet/qwen3.8-27b. Dokumentasi BroadNet hanya mencantumkan tools untuk kedua model itu.
  • 429 pada chain batch atau paralel. Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan sekaligus. Atur max_concurrency di konfigurasi runnable untuk batch(). Lihat kode error dan percobaan ulang.

Pertanyaan umum

Di ChatOpenAI, sebaiknya pakai base_url atau openai_api_base?

Keduanya bisa. openai_api_base adalah alias untuk base_url. Jika keduanya tidak diisi, LangChain memeriksa OPENAI_API_BASE, lalu klien openai membaca OPENAI_BASE_URL.

Bisakah endpoint BroadNet diatur hanya dengan environment variable?

Bisa. Atur OPENAI_BASE_URL ke https://inference.broadnet.ai/v1 dan OPENAI_API_KEY ke kunci BroadNet Anda, lalu buat ChatOpenAI hanya dengan ID model. Tambahkan stream_usage=True jika Anda ingin jumlah token saat streaming.

Kenapa LangChain membuang reasoning_content dari respons BroadNet?

Menurut dokumentasi LangChain, ChatOpenAI mengikuti spesifikasi resmi OpenAI dan tidak mengambil field nonstandar seperti reasoning_content. Jawaban akhirnya tetap ada di content.

Apakah ChatOpenAI dengan BroadNet mendukung tool calling?

Ya, lewat bind_tools, pada model yang dicantumkan BroadNet dengan dukungan tools. Gunakan broadnet/glm-5.3 atau broadnet/qwen3.8-27b untuk tool calling dan with_structured_output.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity