BroadRouter
Mulakan

Halakan LiteLLM ke BroadNet Inference (SDK dan proksi)

Dikemas kini

Dalam LiteLLM, letakkan awalan openai/ pada ID model BroadNet, seperti openai/broadnet/glm-5.3, dan tetapkan api_base kepada https://inference.broadnet.ai/v1 dengan kunci BroadNet anda sebagai api_key. Dalam proksi, letakkan nilai yang sama di bawah litellm_params dalam config.yaml dan beri model itu model_name yang pendek.

LiteLLM menyediakan satu antara muka kepada banyak penyedia LLM, sebagai Python SDK dan sebagai pelayan proksi. Untuk mencapai API serasi OpenAI, dokumentasinya menyuruh anda melakukan dua perkara: letakkan openai/ di hadapan nama model, dan tetapkan api_base. BroadNet Inference menggunakan laluan itu.

1. Python SDK

pip install litellm
export BROADNET_API_KEY='your-broadnet-key'

Dalam contoh di bawah, max_tokens ialah 4000; komen dalam kod mengingatkan bahawa penaakulan dikira dalam had ini.

import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)

openai/ memilih laluan; LiteLLM menghantar broadnet/glm-5.3 kepada BroadNet. Jangan tambah apa-apa pada base URL; klien OpenAI LiteLLM yang menambah laluan endpoint.

Dokumentasi LiteLLM menyatakan laluan openai menggunakan pustaka OpenAI Python rasmi, yang memerlukan kunci API pada setiap permintaan. Hantar api_key secara eksplisit, seperti di atas, supaya LiteLLM tidak sekali-kali beralih kepada OPENAI_API_KEY yang dimaksudkan untuk OpenAI sendiri. Respons dipulangkan dalam bentuk OpenAI, jadi kod anda yang lain tidak perlu diubah.

Bila menggunakan proksi

SDK sudah memadai dalam satu aplikasi Python. Proksi membantu apabila beberapa aplikasi atau bahasa memerlukan model yang sama: semuanya memanggil satu endpoint gaya OpenAI dengan nama model yang pendek, dan proksi memegang kunci BroadNet, menguatkuasakan had kadar dan merekod penggunaan. Aplikasi anda kemudian tidak memerlukan sebarang tetapan khusus BroadNet langsung.

2. Pelayan proksi

Pasang tambahan proksi dan tulis config.yaml:

pip install 'litellm[proxy]'
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

Mulakan proksi dan panggilnya seperti mana-mana endpoint OpenAI. Dalam contoh ini, curl dijalankan dalam terminal kedua:

litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'

os.environ/BROADNET_API_KEY_GLM memberitahu LiteLLM untuk membaca kunci itu daripada persekitaran. Setiap entri menggunakan kunci bayar ikut guna BroadNet tersendiri, jadi rpm: 30, had kadar pilihan LiteLLM bagi setiap deployment, sepadan dengan had setiap kunci. Jika beberapa entri berkongsi satu kunci, mereka berkongsi had yang sama, jadi bahagikan nombor itu antara mereka. master_key menjadikan proksi memerlukan kunci pada setiap panggilan; dokumentasi LiteLLM menyatakan ia mesti bermula dengan sk-. Eksport LITELLM_MASTER_KEY sebelum anda memulakan proksi.

Model mana yang patut dipilih

model_name Model BroadNet Kegunaan
glm GLM 5.3 Alatan, output berstruktur, konteks 1M
deepseek-flash DeepSeek V4.1 Flash Konteks panjang; model pelan tanpa had
qwen Qwen3.8 27B Imej, alatan, bahasa Arab
(tambah jika perlu) Gemma 4 VL 26B Harga setiap token yang rendah; berfungsi dengan kredit $5

Harga ada di halaman harga. Jika anda berpindah daripada gateway lain, senarai semak migrasi menerangkan apa yang perlu diuji.

Penyelesaian masalah

  • 401. Kunci BroadNet salah, tamat tempoh, atau elaun bayar ikut guna telah habis. Jika 401 datang daripada proksi itu sendiri, semak kunci LiteLLM yang anda hantar.
  • Not Found. Pastikan api_base ialah https://inference.broadnet.ai/v1 dengan /v1. Jika base URL betul, pastikan ID model selepas openai/ sepadan tepat dengan ID BroadNet.
  • Model ditolak pada akaun baharu. GLM 5.3, Qwen3.8 27B dan DeepSeek V4.1 Flash memerlukan tambah nilai terlebih dahulu; kredit $5 hanya meliputi broadnet/gemma-4-26b-a4b dan dua model Transcribe.
  • Kandungan kosong. Penaakulan dikira dalam max_tokens. Naikkan nilainya atau hantar reasoning_effort="low". Mengapa jawapan kosong.
  • 429. Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. rpm LiteLLM membantu untuk had pertama; pastikan pemanggil serentak tidak melebihi 4 bagi setiap kunci. Lihat ralat dan cuba semula.
  • Ejen selari pada kunci pelan. Satu sesi pelan menjalankan satu permintaan pada satu masa. Menjalankan beberapa ejen melalui proksi pada satu sesi menyebabkan mereka beratur; beli satu sesi bagi setiap ejen selari.

Soalan lazim

Mengapakah LiteLLM memulangkan ralat Not Found?

Dokumentasi LiteLLM menyarankan anda memastikan api_base berakhir dengan /v1. Gunakan https://inference.broadnet.ai/v1 dan jangan tambah /chat/completions.

Mengapakah nama model ialah openai/broadnet/glm-5.3?

Awalan openai/ memberitahu LiteLLM untuk memanggil endpoint /chat/completions gaya OpenAI. LiteLLM menggunakan awalan itu untuk memilih laluan dan menghantar bakinya, broadnet/glm-5.3, iaitu ID model BroadNet.

Bolehkah saya meletakkan kunci pelan tanpa had BroadNet di sebalik proksi LiteLLM yang dikongsi?

Kunci pelan tidak boleh dikongsi atau dijual semula, dan satu sesi menjalankan satu permintaan pada satu masa. Gunakannya untuk ejen anda sendiri. Untuk proksi pasukan, gunakan kunci bayar ikut guna.

Adakah LiteLLM memerlukan OPENAI_API_KEY untuk memanggil BroadNet?

Laluan openai memerlukan kunci pada setiap permintaan, daripada api_key atau OPENAI_API_KEY. Hantar kunci BroadNet anda sebagai api_key, atau os.environ/BROADNET_API_KEY dalam proksi, supaya LiteLLM tidak menghantar kunci OpenAI sebenar kepada BroadNet.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity