BroadRouter

LLM router

Diperbarui

LLM router adalah software atau layanan yang berada di antara aplikasi dan satu atau lebih API model bahasa, lalu memutuskan untuk setiap request model atau penyedia mana yang menanganinya, berdasarkan aturan seperti biaya, latensi, ketersediaan, atau jenis tugas.

Disebut juga: LLM router, router LLM, AI gateway, LLM gateway, router model, agregator LLM, model router, LLM aggregator

Aplikasi yang hanya berbicara dengan satu model tidak butuh router. Router muncul saat tim memakai beberapa model atau penyedia dan ingin satu tempat untuk memilih di antara mereka.

Cara kerjanya

Aplikasi mengirim request bergaya OpenAI ke router. Router menerapkan aturannya, meneruskan request ke sebuah backend, lalu mengembalikan jawaban dalam format yang sama. Ada tiga jenis yang umum:

  • Agregator hosted. OpenRouter, misalnya, menawarkan “hundreds of AI models through a single API endpoint” (terjemahan: ratusan model AI melalui satu endpoint API) di https://openrouter.ai/api/v1, dengan fallback otomatis. Anda memegang satu kunci dan satu tagihan; agregator yang memegang akun di para penyedia.
  • Gateway self-hosted. LiteLLM Router berjalan di infrastruktur Anda sendiri. Router ini menyebarkan traffic ke berbagai deployment (simple shuffle secara default, atau berbasis latensi, pemakaian, atau biaya), melakukan retry error rate limit dengan exponential backoff, dan menempatkan deployment dalam cooldown setelah 429 atau tingkat kegagalan yang tinggi.
  • Router pemilih model. Riset seperti RouteLLM melatih classifier yang mengirim prompt mudah ke model yang lebih murah dan prompt sulit ke model yang lebih kuat, untuk memangkas biaya tanpa kehilangan kualitas.

Gateway self-hosted dikonfigurasi sebagai daftar backend. Entri LiteLLM ini menambahkan satu penyedia yang kompatibel dengan OpenAI:

model_list:
  - model_name: flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY

Kenapa ini penting

  • Keandalan. Router bisa beralih saat satu penyedia mengembalikan error 429 atau 5xx. Lihat rate limit.
  • Biaya. Mengirim prompt sederhana ke model yang lebih murah bisa menurunkan tagihan.
  • Satu integrasi. Kode berbicara dengan satu base URL dan satu format kunci.

Kompromi-komprominya nyata. Router menambah satu hop jaringan. Router hosted adalah satu pihak lagi yang melihat prompt Anda, jadi retensi data bergantung pada router maupun penyedia yang dipilihnya. Model juga berbeda dalam tokenizer, perilaku penalaran, dan dukungan parameter, sehingga fallback diam-diam bisa mengubah jawaban.

Di BroadNet Inference

BroadNet Inference bukan router. BroadNet Inference adalah satu penyedia dengan satu daftar model yang ringkas di https://inference.broadnet.ai/v1; Ketentuan Layanan BroadNet menyebutkan bahwa model-modelnya berjalan di hardware AS milik BroadNet atau sewaan, atau bersama mitra inferensi di AS. Tidak ada routing atau fallback otomatis antar-penyedia. Anda memilih model di setiap request, misalnya broadnet/deepseek-v4.1-flash atau broadnet/glm-5.3.

Karena API-nya kompatibel dengan OpenAI, BroadNet Inference bisa berada di belakang router sebagai salah satu backend. Panduan LiteLLM proxy menunjukkan setup-nya. Untuk perbandingan router dengan penyedia tarif tetap, baca alternatif OpenRouter untuk agen. BroadNet tidak menyimpan prompt atau output; jika Anda menambahkan router hosted di depannya, periksa juga retensi data router itu.

Kesalahan umum

  • Melakukan retry 401 atau 403 di penyedia lain. Itu error kunci atau kebijakan; perbaiki dulu. Lihat error dan retry.
  • Menganggap nama model bisa saling dipertukarkan. Uji setiap model fallback dengan prompt Anda sendiri.

Pertanyaan umum

Apakah LLM router sama dengan load balancer?

Load balancer adalah salah satu bagian dari router. Router juga bisa memilih model lain untuk suatu tugas, beralih ke penyedia lain setelah error, dan menerjemahkan antar-format API. Load balancer biasa hanya menyebarkan traffic ke server-server yang identik.

Apakah router menambah latensi?

Biasanya sedikit, karena request melewati satu hop jaringan tambahan dan router mungkin memeriksanya. Fallback bisa menambah lebih banyak, karena percobaan yang gagal dijalankan sebelum retry. Ukur time to first token dengan dan tanpa router.

Apakah BroadNet Inference sebuah LLM router?

Bukan. Meskipun nama situs ini demikian, BroadNet Inference adalah satu penyedia; Ketentuan Layanan BroadNet menyebutkan bahwa model-modelnya berjalan di hardware AS milik BroadNet atau sewaan, atau bersama mitra inferensi di AS. Anda memilih model di setiap request. Anda bisa menempatkannya di belakang router sebagai salah satu penyedia.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity