BroadRouter

Self-hosting LLM vs API: biaya sebenarnya dan titik impasnya

Oleh tim BroadNet Inference · 5 menit baca · Dipublikasikan · Diperbarui

GPU sewaan berbiaya sama per jam, sibuk atau menganggur, jadi self-hosting hanya mengalahkan API pada utilisasi yang tinggi dan stabil. Bagi harga per jam dengan token yang benar-benar dihasilkan server per jam, tambahkan waktu engineering dan on-call, lalu bandingkan dengan harga API per 1 juta token. Untuk trafik yang naik-turun atau sedang, API hampir selalu menang.

“Kita bisa hemat kalau menjalankannya sendiri” adalah salah satu klaim paling umum dalam perencanaan biaya LLM, dan salah satu yang paling jarang diperiksa. Hitungannya tidak sulit. Ada satu variabel yang sering salah ditebak (utilisasi) dan satu biaya yang sering dilupakan (manusia). Artikel ini memberikan rumusnya, harga sewa nyata, dan cara menjalankannya dengan angka Anda sendiri.

Berapa biaya sewa GPU saat ini?

Harga per jam dari halaman harga resmi, diakses 2026-11-14 (RunPod) dan 2026-11-16 (Lambda). Satu bulan di sini dihitung 730 jam.

GPU Penyedia dan tier (dicek 2026-11-14) Per GPU-jam Per bulan, selalu menyala
H100 SXM RunPod Secure Cloud USD 4,39 sekitar USD 3.205
H100 SXM RunPod Community Cloud USD 2,69 sekitar USD 1.964
H100 PCIe RunPod Secure Cloud USD 2,89 sekitar USD 2.110
H200 RunPod Secure Cloud USD 5,29 sekitar USD 3.862
A100 80GB SXM RunPod Secure Cloud USD 2,19 sekitar USD 1.599
L40S RunPod Secure Cloud USD 1,09 sekitar USD 796
H100 SXM Lambda on-demand, 1 sampai 8 GPU (berlaku mulai 2026-11-16; dicek 2026-11-16) USD 4,59 sampai 4,89 sekitar USD 3.351 sampai 3.570

Halaman Lambda (dicek 2026-11-16) menyebutkan harga ini berlaku mulai 2026-11-16 pukul 00.00 UTC; tarif per GPU turun seiring bertambahnya ukuran node, hingga USD 4,59 di node 8 GPU. Tarif Community Cloud RunPod adalah harga “mulai dari” yang bervariasi per host. Secure Cloud dan Community Cloud adalah tier hosting yang berbeda, jadi baca ketentuan tier-nya jika Anda punya aturan penanganan data. Banyak model butuh lebih dari satu GPU: node H100 8 GPU dengan tarif Secure Cloud berbiaya sekitar USD 25.638 per bulan.

Bagaimana menghitung biaya self-hosted per sejuta token?

GPU menghasilkan token dengan laju agregat tertentu dari semua permintaan yang sedang di-batch. Biaya per token Anda adalah harga per jam yang dibagi rata ke token yang benar-benar dihasilkannya:

biaya per 1 juta token = harga per jam ÷ (token per detik agregat × 3.600 ÷ 1.000.000) ÷ utilisasi

Utilisasi adalah porsi jam saat GPU melakukan pekerjaan berguna pada laju tersebut. Contoh perhitungan dengan angka asumsi (bukan benchmark: ukur model Anda sendiri):

  • GPU: satu H100 SXM di Community Cloud, USD 2,69 per jam.
  • Asumsi output agregat: 1.500 token per detik dengan batching yang baik.
  • Token per jam pada beban penuh: 1.500 × 3.600 = 5,4 juta.
Utilisasi Token efektif per jam Biaya per 1 juta token output
100% (selalu penuh) 5,4 jt USD 0,50
50% 2,7 jt USD 1,00
25% (sibuk hanya di jam kerja) 1,35 jt USD 1,99
10% (trafik produk yang naik-turun) 0,54 jt USD 4,98

Sekarang bandingkan dengan harga API per 1 juta token output. Tabel harga API LLM menunjukkan berapa yang ditagih puluhan host untuk bobot terbuka yang sama; di BroadNet Inference, DeepSeek V4.1 Flash berharga $0.52 per 1 juta token output dan Gemma 4 VL 26B berharga $0.22. Cari baris tempat biaya self-hosted Anda turun di bawah harga API: itulah utilisasi titik impas Anda. Contoh ini mengabaikan token input, yang juga memakan waktu GPU (prefill), jadi biaya self-hosted sebenarnya lebih tinggi daripada yang ditunjukkan tabel.

Berapa token per bulan yang dibutuhkan untuk mencapai titik impas?

Balik cara pandangnya. GPU yang dibiarkan menyala tetap berbiaya sebesar harga bulanannya. API berbiaya token × harga. Volume titik impasnya:

token per bulan untuk titik impas = biaya GPU bulanan ÷ harga API per 1 juta token × 1.000.000

Untuk satu H100 Community Cloud (sekitar USD 1.964 per bulan) dibandingkan harga output $0.52 per 1 juta token, bagi 1.964 dengan harga tersebut untuk mendapatkan berapa juta token output per bulan yang harus Anda gantikan sebelum GPU itu balik modal. Lakukan hal yang sama dengan harga campuran input dan output jika beban kerja Anda didominasi input, seperti biasanya pada agen; artikel harga tetap vs per token menunjukkan cara mencampurnya.

Dan GPU itu harus benar-benar bisa menyajikan modelnya. Jika model butuh empat GPU, kalikan biaya bulanan dengan empat sebelum membagi.

Biaya apa saja yang sering dilupakan?

Biaya Yang dicakup Cara menghitungnya
Setup engineering Serving engine, pilihan kuantisasi, autoscaling, uji beban Jam sekali jalan × tarif Anda
Operasional berkelanjutan Upgrade, pembaruan driver dan engine, penyegaran model Jam per bulan × tarif Anda
On-call Seseorang harus bangun saat node mati Kebijakan on-call Anda
Redundansi Node kedua agar satu kegagalan tidak jadi gangguan layanan Menggandakan pos GPU
Cadangan kapasitas menganggur Kapasitas untuk puncak yang harus tetap hangat Menurunkan utilisasi
Evaluasi Memeriksa versi model baru sebelum beralih Jam per rilis

Redundansi adalah yang paling mengubah jawabannya. Satu GPU adalah satu titik kegagalan. Dua GPU membuat utilisasi Anda langsung turun separuh. Lihat mengevaluasi model sebelum beralih untuk pekerjaan evaluasi yang datang bersama setiap upgrade.

Kapan self-hosting adalah pilihan yang tepat?

  • Volume tinggi dan stabil. Pipeline batch yang membuat GPU penuh sepanjang waktu.
  • Data harus tetap di dalam jaringan Anda. Ini syarat mutlak, bukan argumen biaya. Periksa dulu apakah API dengan zero data retention memenuhi aturan Anda.
  • Model yang tidak dilayani API mana pun. Hasil fine-tune Anda sendiri atau model open-weight yang khusus.
  • Kapasitas yang dijamin. Anda butuh throughput yang tidak akan diberikan rate limit sebuah API.

Untuk kasus lainnya, terutama trafik yang naik-turun, produk tahap awal, dan agen yang berjalan dalam lonjakan, API lebih murah dan tidak butuh jadwal on-call.

Adakah opsi harga tetap di antara GPU dan penagihan per token?

Ada jalan tengah antara menyewa GPU dan membayar per token. BroadNet menjual kunci per jam untuk Gemma 4 VL 26B seharga $0.50 per jam (satu stream, 120 permintaan per menit, 300,000 token per menit), atau $360.00 jika dijalankan sebulan penuh. BroadNet juga menjual sesi paket unlimited untuk DeepSeek V4.1 Flash seharga $60 per bulan, masing-masing menjalankan satu permintaan dalam satu waktu pada sekitar 100 token per detik. Opsi ini memberi tagihan yang bisa diprediksi seperti GPU sewaan, tanpa setup atau operasional, tetapi dengan konkurensi tetap per kunci atau sesi, bukan kapasitas batch satu GPU penuh.

Di mana posisi BroadNet Inference?

BroadNet Inference adalah sisi API dari perbandingan ini: harga per token, paket harga tetap, dan kunci per jam untuk model open-weight, sebagian di-host oleh mitra inferensi AS, di balik API yang kompatibel dengan OpenAI. Layanan ini cocok untuk tim yang trafiknya akan membuat GPU sewaan sering menganggur, atau yang tidak ingin mengelola infrastruktur inferensi. Tidak cocok jika Anda butuh hasil fine-tune kustom yang disajikan, deployment on-premises, atau ratusan permintaan paralel pada satu kunci. Jalankan angka Anda di kalkulator biaya API LLM dan bandingkan dengan tabel di atas. Jika Anda masih memilih antara model terbuka dan tertutup, biaya API model open-weight vs tertutup membandingkan harga per token dari halaman masing-masing penyedia. Kalkulator self-hosting vs API menghitung titik impas secara lengkap dengan throughput hasil ukur Anda dan harga GPU ini.

Pertanyaan umum

Apakah self-host LLM lebih murah daripada memakai API?

Hanya pada volume yang tinggi dan stabil. GPU sewaan ditagih setiap jam; API hanya menagih token yang Anda pakai. Jika GPU Anda akan menganggur sebagian besar hari, API lebih murah bahkan sebelum waktu engineering dihitung.

Berapa biaya sewa H100 per jam?

Di halaman harga RunPod pada 2026-11-14, H100 SXM berharga USD 4,39 per jam di Secure Cloud dan mulai USD 2,69 di Community Cloud. Lambda mencantumkan H100 SXM on-demand seharga USD 4,59 sampai 4,89 per GPU-jam, tergantung ukuran node, dengan harga yang berlaku mulai 2026-11-16. Periksa halamannya untuk tarif terkini.

Berapa GPU yang dibutuhkan untuk self-host model besar?

Setidaknya memori yang cukup untuk bobot model plus KV cache untuk permintaan bersamaan Anda. Model mixture-of-experts yang besar biasanya butuh node multi-GPU. Periksa model card untuk jumlah parameter dan setup yang direkomendasikan.

Kapan self-hosting masuk akal meski lebih mahal?

Saat data tidak boleh keluar dari jaringan Anda, saat Anda butuh model hasil fine-tune atau model kustom yang tidak dilayani API mana pun, atau saat Anda butuh kapasitas yang dijamin. Itu alasan kendali, bukan alasan biaya.

Bagaimana cara mengukur throughput riil GPU saya?

Jalankan prompt nyata Anda pada konkurensi nyata Anda dengan serving engine seperti vLLM atau SGLang, dan catat total token output per detik dari semua permintaan. Angka puncak dari vendor mengasumsikan batching yang ideal.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity