BroadRouter
Mulai

Penyedia inferensi (inference provider)

Diperbarui

Penyedia inferensi adalah perusahaan yang menjalankan model machine learning, sering kali LLM open-weight, di GPU yang dimiliki, disewa jangka panjang, atau disewa per pemakaian, lalu menjual akses ke model itu lewat API, biasanya dihargai per token, per permintaan, atau per satuan waktu. Penyedia ini menangani penyajian, penskalaan, dan perangkat keras.

Disebut juga: penyedia inferensi, penyedia API LLM, penyedia LLM, penyedia hosting model, inference provider, LLM inference provider, LLM API provider, model hosting provider, AI inference provider

Saat model open-weight dirilis, tetap harus ada yang menjalankannya. Penyedia inferensi adalah perusahaan yang melakukannya.

Cara kerjanya

Penyedia memuat bobot model ke GPU, menjalankan perangkat lunak penyajian yang mengelompokkan permintaan dan mengelola memori, lalu memasang API di depannya. Sebagian besar menyediakan API kompatibel OpenAI, sehingga Anda berganti penyedia dengan mengubah base URL, kunci, dan ID model.

Istilah ini mencakup beberapa bentuk bisnis:

  • Lab model yang menyajikan model buatannya sendiri.
  • Host independen yang menyajikan model open-weight dari banyak lab.
  • Cloud yang menyewakan GPU atau endpoint terkelola, kadang ditagih per GPU-hour.
  • Agregator. Inference Providers dari Hugging Face memberi akses ke “hundreds of machine learning models, powered by world-class inference providers” (terjemahan: ratusan model machine learning yang didukung penyedia inferensi kelas dunia) lewat satu token. Router LLM bekerja dengan cara yang sama.

Karena format API-nya sama, kode yang sama berjalan di mana pun. Hanya tiga nilai yang berubah (komentar di kode: penyedianya, kuncinya, ID modelnya):

import os
from openai import OpenAI

msgs = [{"role": "user", "content": "Hello"}]
client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",          # the provider
    api_key=os.environ["BROADNET_API_KEY"],  # its key
)
client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=msgs)  # its model ID

Skema harganya juga berbeda: per token, per menit audio, per jam, atau tetap per sesi.

Kenapa ini penting

Memilih penyedia sebagian besar berarti memilih kompromi yang tidak terlihat dari nama modelnya:

  • Penanganan data. Retensi, logging, dan pemakaian untuk pelatihan berbeda-beda. Cari kebijakan zero data retention yang tertulis.
  • Tempat model berjalan. Region dan subprosesor penting untuk kepatuhan.
  • Batas. Konkurensi, rate limit, dan panjang konteks bisa lebih rendah daripada batas maksimum model.
  • Pilihan penyajian. Presisi dan pengaturan penyajian memengaruhi kecepatan, dan kadang output.
  • Skema harga. Skema yang tepat bergantung pada trafik Anda; lihat perbandingan harga penyedia.
  • Tingkat harga. Model open yang sama bisa berharga beberapa kali lipat lebih mahal di satu penyedia dibanding penyedia lain. Lihat model sama, host berbeda.

Di BroadNet Inference

BroadNet Inference adalah penyedia inferensi. Pernyataan privasinya menyebut model miliknya sendiri dan model open-weight yang di-hosting-nya “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (terjemahan: berjalan di perangkat keras milik atau sewaan BroadNet di Amerika Serikat, dengan kapasitas mitra sebagai cadangan), dan model yang dilayani mitra berjalan dengan ketentuan zero data retention bersama mitra inferensi di AS. Konten permintaan dan respons tidak disimpan.

BroadNet menawarkan model chat, termasuk DeepSeek V4.1 Flash dan GLM 5.3, serta dua model speech-to-text lewat API kompatibel OpenAI di https://inference.broadnet.ai/v1. Penagihannya bayar sesuai pemakaian per token atau per menit audio, kunci per jam, atau paket harga tetap untuk DeepSeek V4.1 Flash. Gunakan checklist penyedia untuk membandingkannya dengan penyedia lain berdasarkan kriteria Anda sendiri.

Pertanyaan umum

Apa bedanya penyedia inferensi dan router LLM?

Penyedia menjalankan model sendiri, di perangkat keras yang dimiliki, disewa jangka panjang, atau disewa per pemakaian. Router meneruskan permintaan Anda ke salah satu dari beberapa penyedia lewat satu API dan satu tagihan. Sebagian perusahaan melakukan keduanya.

Apakah dua penyedia yang menyajikan model open yang sama memberi jawaban yang sama?

Tidak selalu. Presisi, batas konteks, pengaturan default, dan perangkat lunak penyajian bisa berbeda, sehingga output juga bisa berbeda. Uji dengan prompt Anda sendiri sebelum berpindah.

Bagaimana cara berpindah penyedia inferensi?

Dengan API kompatibel OpenAI, ganti tiga nilai: base URL, kunci API, dan ID model. Lalu jalankan ulang eval Anda, karena model yang sama bisa berperilaku berbeda di penyedia lain.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity