Aplikasi yang bercakap dengan satu model tidak memerlukan penghala. Penghala muncul apabila pasukan menggunakan beberapa model atau penyedia dan mahukan satu tempat untuk memilih antara mereka.
Cara ia berfungsi
Aplikasi menghantar permintaan gaya OpenAI kepada penghala. Penghala menggunakan peraturannya, memajukan permintaan ke backend, dan memulangkan jawapan dalam format yang sama. Terdapat tiga jenis yang lazim:
- Agregator dihoskan. OpenRouter, sebagai contoh, menawarkan “hundreds of AI models through a single API endpoint” (Terjemahan BroadRouter: “ratusan model AI melalui satu endpoint API”) di
https://openrouter.ai/api/v1, dengan fallback automatik. Anda memegang satu kunci dan satu bil; agregator memegang akaun dengan penyedia. - Gateway hos sendiri. LiteLLM Router berjalan dalam infrastruktur anda sendiri. Ia menyebarkan trafik merentas deployment (simple shuffle secara lalai, atau berasaskan kependaman, penggunaan atau kos), mencuba semula ralat had kadar dengan backoff eksponen, dan meletakkan deployment dalam cooldown selepas 429 atau kadar kegagalan yang tinggi.
- Penghala pemilih model. Kajian seperti RouteLLM melatih pengelas yang menghantar prompt mudah kepada model lebih murah dan prompt sukar kepada model lebih kuat, untuk mengurangkan kos tanpa kehilangan kualiti.
Gateway hos sendiri dikonfigurasikan sebagai senarai backend. Entri LiteLLM ini menambah satu penyedia serasi OpenAI:
model_list:
- model_name: flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY
Mengapa ia penting
- Kebolehpercayaan. Penghala boleh beralih apabila satu penyedia memulangkan ralat 429 atau 5xx. Lihat had kadar.
- Kos. Menghantar prompt mudah kepada model lebih murah boleh mengurangkan bil.
- Satu integrasi. Kod bercakap dengan satu base URL dan satu format kunci.
Komprominya nyata. Penghala menambah satu lompatan rangkaian. Penghala yang dihoskan ialah satu lagi pihak yang melihat prompt anda, jadi pengekalan data bergantung pada penghala dan penyedia yang dipilihnya. Model juga berbeza dari segi tokenizer, tingkah laku penaakulan dan sokongan parameter, jadi fallback senyap boleh mengubah jawapan.
Di BroadNet Inference
BroadNet Inference bukan penghala. Ia ialah satu penyedia tunggal dengan satu senarai model yang ringkas di https://inference.broadnet.ai/v1; Terma BroadNet menyatakan model-modelnya berjalan pada perkakasan di AS yang dimiliki atau dipajak oleh BroadNet atau bersama rakan kongsi inferens di AS. Tiada penghalaan atau fallback automatik merentas penyedia. Anda memilih model dalam setiap permintaan, contohnya broadnet/deepseek-v4.1-flash atau broadnet/glm-5.3.
Oleh sebab API-nya serasi OpenAI, ia boleh diletakkan di belakang penghala sebagai satu backend. Panduan proksi LiteLLM menunjukkan persediaannya. Untuk perbandingan antara penghala dan penyedia harga tetap, baca alternatif OpenRouter untuk ejen. BroadNet tidak menyimpan prompt atau output; jika anda menambah penghala dihoskan di hadapan, semak juga pengekalan data penghala itu.
Kesilapan biasa
- Mencuba semula 401 atau 403 pada penyedia lain. Itu ralat kunci atau dasar; betulkannya dahulu. Lihat ralat dan cubaan semula.
- Menganggap nama model boleh ditukar ganti. Uji setiap model fallback pada prompt anda sendiri.