LlamaIndex adalah framework Python untuk RAG dan agen. Untuk setiap API kompatibel OpenAI yang bukan OpenAI itu sendiri, LlamaIndex menyediakan class OpenAILike. BroadNet Inference menyajikan chat completions standar di https://inference.broadnet.ai/v1. BroadRouter adalah situs milik BroadNet sendiri; panduan ini mengikuti referensi API LlamaIndex untuk llama-index-llms-openai-like 0.9.0.
Instalasi
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
Hubungkan dan uji
import os
from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
context_window=1048576,
is_chat_model=True,
is_function_calling_model=True,
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.complete("Name three uses for a vector index."))
Jika sebuah jawaban tercetak, berarti kunci, URL, dan ID model sudah berfungsi.
Empat pengaturan yang penting
| Parameter | Isi dengan | Default jika tidak diisi |
|---|---|---|
is_chat_model |
True |
False, yang memakai endpoint completions lama; BroadNet menyajikan chat completions |
context_window |
Konteks asli model | 3.900 token |
is_function_calling_model |
True hanya untuk GLM 5.3 atau Qwen3.8 27B |
False |
max_tokens |
1.000 atau lebih | None (tidak dikirim, jadi server yang menentukan) |
is_chat_model adalah yang paling penting. Referensi API menyebut parameter ini “controls whether the model uses the chat or completion endpoint” (terjemahan: menentukan apakah model memakai endpoint chat atau completion) dan default-nya false. Dokumentasi BroadNet mencantumkan /v1/chat/completions, bukan endpoint completions yang lebih lama.
Pakai di seluruh aplikasi
from llama_index.core import Settings
Settings.llm = llm
Setelah itu, query engine, chat engine, dan agen memakai BroadNet. Embedding terpisah: referensi API BroadNet tidak mencantumkan endpoint embedding, jadi tetap pakai model embedding lain untuk indexing.
Context window
| Model | ID | context_window |
Tools |
|---|---|---|---|
| GLM 5.3 | broadnet/glm-5.3 |
1048576 | Ya |
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
1048576 | Tidak dicantumkan |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
262144 | Ya |
| BroadNet Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
32768 | Tidak dicantumkan |
Konteks 1M token memungkinkan query engine mengirim jauh lebih banyak chunk hasil retrieval per panggilan. Itu tidak selalu lebih baik; lihat long context vs RAG.
Pemecahan masalah
- 401. Kuncinya salah, kedaluwarsa, atau jatahnya habis.
- 404.
api_baseharus diakhiri/v1, danis_chat_modelharusTrue. Lalu periksa ID model. Model berbayar memerlukan top up; kredit $5 hanya mencakupbroadnet/gemma-4-26b-a4b. - Jawaban kosong. Penalaran menghabiskan anggaran output. Naikkan
max_tokens. Kenapa jawaban kembali kosong. - Agen tidak pernah memanggil tools. Atur
is_function_calling_model=Truedan pakaibroadnet/glm-5.3ataubroadnet/qwen3.8-27b. - 429 saat ingestion atau query batch. Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan yang berjalan bersamaan. Secara default OpenAILike mencoba ulang 3 kali (
max_retries). Lihat panduan error dan percobaan ulang.
