LiteLLM menyediakan satu antara muka kepada banyak penyedia LLM, sebagai Python SDK dan sebagai pelayan proksi. Untuk mencapai API serasi OpenAI, dokumentasinya menyuruh anda melakukan dua perkara: letakkan openai/ di hadapan nama model, dan tetapkan api_base. BroadNet Inference menggunakan laluan itu.
1. Python SDK
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
Dalam contoh di bawah, max_tokens ialah 4000; komen dalam kod mengingatkan bahawa penaakulan dikira dalam had ini.
import os
import litellm
response = litellm.completion(
model="openai/broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000, # reasoning counts toward this
messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
openai/ memilih laluan; LiteLLM menghantar broadnet/glm-5.3 kepada BroadNet. Jangan tambah apa-apa pada base URL; klien OpenAI LiteLLM yang menambah laluan endpoint.
Dokumentasi LiteLLM menyatakan laluan openai menggunakan pustaka OpenAI Python rasmi, yang memerlukan kunci API pada setiap permintaan. Hantar api_key secara eksplisit, seperti di atas, supaya LiteLLM tidak sekali-kali beralih kepada OPENAI_API_KEY yang dimaksudkan untuk OpenAI sendiri. Respons dipulangkan dalam bentuk OpenAI, jadi kod anda yang lain tidak perlu diubah.
Bila menggunakan proksi
SDK sudah memadai dalam satu aplikasi Python. Proksi membantu apabila beberapa aplikasi atau bahasa memerlukan model yang sama: semuanya memanggil satu endpoint gaya OpenAI dengan nama model yang pendek, dan proksi memegang kunci BroadNet, menguatkuasakan had kadar dan merekod penggunaan. Aplikasi anda kemudian tidak memerlukan sebarang tetapan khusus BroadNet langsung.
2. Pelayan proksi
Pasang tambahan proksi dan tulis config.yaml:
pip install 'litellm[proxy]'
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_GLM
rpm: 30
- model_name: deepseek-flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
rpm: 30
- model_name: qwen
litellm_params:
model: openai/broadnet/qwen3.8-27b
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_QWEN
rpm: 30
general_settings:
master_key: os.environ/LITELLM_MASTER_KEY
Mulakan proksi dan panggilnya seperti mana-mana endpoint OpenAI. Dalam contoh ini, curl dijalankan dalam terminal kedua:
litellm --config config.yaml
# in a second terminal
curl http://localhost:4000/chat/completions \
-H "Authorization: Bearer $LITELLM_MASTER_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
os.environ/BROADNET_API_KEY_GLM memberitahu LiteLLM untuk membaca kunci itu daripada persekitaran. Setiap entri menggunakan kunci bayar ikut guna BroadNet tersendiri, jadi rpm: 30, had kadar pilihan LiteLLM bagi setiap deployment, sepadan dengan had setiap kunci. Jika beberapa entri berkongsi satu kunci, mereka berkongsi had yang sama, jadi bahagikan nombor itu antara mereka. master_key menjadikan proksi memerlukan kunci pada setiap panggilan; dokumentasi LiteLLM menyatakan ia mesti bermula dengan sk-. Eksport LITELLM_MASTER_KEY sebelum anda memulakan proksi.
Model mana yang patut dipilih
| model_name | Model BroadNet | Kegunaan |
|---|---|---|
glm |
GLM 5.3 | Alatan, output berstruktur, konteks 1M |
deepseek-flash |
DeepSeek V4.1 Flash | Konteks panjang; model pelan tanpa had |
qwen |
Qwen3.8 27B | Imej, alatan, bahasa Arab |
| (tambah jika perlu) | Gemma 4 VL 26B | Harga setiap token yang rendah; berfungsi dengan kredit $5 |
Harga ada di halaman harga. Jika anda berpindah daripada gateway lain, senarai semak migrasi menerangkan apa yang perlu diuji.
Penyelesaian masalah
- 401. Kunci BroadNet salah, tamat tempoh, atau elaun bayar ikut guna telah habis. Jika 401 datang daripada proksi itu sendiri, semak kunci LiteLLM yang anda hantar.
- Not Found. Pastikan
api_baseialahhttps://inference.broadnet.ai/v1dengan/v1. Jika base URL betul, pastikan ID model selepasopenai/sepadan tepat dengan ID BroadNet. - Model ditolak pada akaun baharu. GLM 5.3, Qwen3.8 27B dan DeepSeek V4.1 Flash memerlukan tambah nilai terlebih dahulu; kredit $5 hanya meliputi
broadnet/gemma-4-26b-a4bdan dua model Transcribe. - Kandungan kosong. Penaakulan dikira dalam
max_tokens. Naikkan nilainya atau hantarreasoning_effort="low". Mengapa jawapan kosong. - 429. Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak.
rpmLiteLLM membantu untuk had pertama; pastikan pemanggil serentak tidak melebihi 4 bagi setiap kunci. Lihat ralat dan cuba semula. - Ejen selari pada kunci pelan. Satu sesi pelan menjalankan satu permintaan pada satu masa. Menjalankan beberapa ejen melalui proksi pada satu sesi menyebabkan mereka beratur; beli satu sesi bagi setiap ejen selari.
