“Kita bisa hemat kalau menjalankannya sendiri” adalah salah satu klaim paling umum dalam perencanaan biaya LLM, dan salah satu yang paling jarang diperiksa. Hitungannya tidak sulit. Ada satu variabel yang sering salah ditebak (utilisasi) dan satu biaya yang sering dilupakan (manusia). Artikel ini memberikan rumusnya, harga sewa nyata, dan cara menjalankannya dengan angka Anda sendiri.
Berapa biaya sewa GPU saat ini?
Harga per jam dari halaman harga resmi, diakses 2026-11-14 (RunPod) dan 2026-11-16 (Lambda). Satu bulan di sini dihitung 730 jam.
| GPU | Penyedia dan tier (dicek 2026-11-14) | Per GPU-jam | Per bulan, selalu menyala |
|---|---|---|---|
| H100 SXM | RunPod Secure Cloud | USD 4,39 | sekitar USD 3.205 |
| H100 SXM | RunPod Community Cloud | USD 2,69 | sekitar USD 1.964 |
| H100 PCIe | RunPod Secure Cloud | USD 2,89 | sekitar USD 2.110 |
| H200 | RunPod Secure Cloud | USD 5,29 | sekitar USD 3.862 |
| A100 80GB SXM | RunPod Secure Cloud | USD 2,19 | sekitar USD 1.599 |
| L40S | RunPod Secure Cloud | USD 1,09 | sekitar USD 796 |
| H100 SXM | Lambda on-demand, 1 sampai 8 GPU (berlaku mulai 2026-11-16; dicek 2026-11-16) | USD 4,59 sampai 4,89 | sekitar USD 3.351 sampai 3.570 |
Halaman Lambda (dicek 2026-11-16) menyebutkan harga ini berlaku mulai 2026-11-16 pukul 00.00 UTC; tarif per GPU turun seiring bertambahnya ukuran node, hingga USD 4,59 di node 8 GPU. Tarif Community Cloud RunPod adalah harga “mulai dari” yang bervariasi per host. Secure Cloud dan Community Cloud adalah tier hosting yang berbeda, jadi baca ketentuan tier-nya jika Anda punya aturan penanganan data. Banyak model butuh lebih dari satu GPU: node H100 8 GPU dengan tarif Secure Cloud berbiaya sekitar USD 25.638 per bulan.
Bagaimana menghitung biaya self-hosted per sejuta token?
GPU menghasilkan token dengan laju agregat tertentu dari semua permintaan yang sedang di-batch. Biaya per token Anda adalah harga per jam yang dibagi rata ke token yang benar-benar dihasilkannya:
biaya per 1 juta token = harga per jam ÷ (token per detik agregat × 3.600 ÷ 1.000.000) ÷ utilisasi
Utilisasi adalah porsi jam saat GPU melakukan pekerjaan berguna pada laju tersebut. Contoh perhitungan dengan angka asumsi (bukan benchmark: ukur model Anda sendiri):
- GPU: satu H100 SXM di Community Cloud, USD 2,69 per jam.
- Asumsi output agregat: 1.500 token per detik dengan batching yang baik.
- Token per jam pada beban penuh: 1.500 × 3.600 = 5,4 juta.
| Utilisasi | Token efektif per jam | Biaya per 1 juta token output |
|---|---|---|
| 100% (selalu penuh) | 5,4 jt | USD 0,50 |
| 50% | 2,7 jt | USD 1,00 |
| 25% (sibuk hanya di jam kerja) | 1,35 jt | USD 1,99 |
| 10% (trafik produk yang naik-turun) | 0,54 jt | USD 4,98 |
Sekarang bandingkan dengan harga API per 1 juta token output. Tabel harga API LLM menunjukkan berapa yang ditagih puluhan host untuk bobot terbuka yang sama; di BroadNet Inference, DeepSeek V4.1 Flash berharga $0.52 per 1 juta token output dan Gemma 4 VL 26B berharga $0.22. Cari baris tempat biaya self-hosted Anda turun di bawah harga API: itulah utilisasi titik impas Anda. Contoh ini mengabaikan token input, yang juga memakan waktu GPU (prefill), jadi biaya self-hosted sebenarnya lebih tinggi daripada yang ditunjukkan tabel.
Berapa token per bulan yang dibutuhkan untuk mencapai titik impas?
Balik cara pandangnya. GPU yang dibiarkan menyala tetap berbiaya sebesar harga bulanannya. API berbiaya token × harga. Volume titik impasnya:
token per bulan untuk titik impas = biaya GPU bulanan ÷ harga API per 1 juta token × 1.000.000
Untuk satu H100 Community Cloud (sekitar USD 1.964 per bulan) dibandingkan harga output $0.52 per 1 juta token, bagi 1.964 dengan harga tersebut untuk mendapatkan berapa juta token output per bulan yang harus Anda gantikan sebelum GPU itu balik modal. Lakukan hal yang sama dengan harga campuran input dan output jika beban kerja Anda didominasi input, seperti biasanya pada agen; artikel harga tetap vs per token menunjukkan cara mencampurnya.
Dan GPU itu harus benar-benar bisa menyajikan modelnya. Jika model butuh empat GPU, kalikan biaya bulanan dengan empat sebelum membagi.
Biaya apa saja yang sering dilupakan?
| Biaya | Yang dicakup | Cara menghitungnya |
|---|---|---|
| Setup engineering | Serving engine, pilihan kuantisasi, autoscaling, uji beban | Jam sekali jalan × tarif Anda |
| Operasional berkelanjutan | Upgrade, pembaruan driver dan engine, penyegaran model | Jam per bulan × tarif Anda |
| On-call | Seseorang harus bangun saat node mati | Kebijakan on-call Anda |
| Redundansi | Node kedua agar satu kegagalan tidak jadi gangguan layanan | Menggandakan pos GPU |
| Cadangan kapasitas menganggur | Kapasitas untuk puncak yang harus tetap hangat | Menurunkan utilisasi |
| Evaluasi | Memeriksa versi model baru sebelum beralih | Jam per rilis |
Redundansi adalah yang paling mengubah jawabannya. Satu GPU adalah satu titik kegagalan. Dua GPU membuat utilisasi Anda langsung turun separuh. Lihat mengevaluasi model sebelum beralih untuk pekerjaan evaluasi yang datang bersama setiap upgrade.
Kapan self-hosting adalah pilihan yang tepat?
- Volume tinggi dan stabil. Pipeline batch yang membuat GPU penuh sepanjang waktu.
- Data harus tetap di dalam jaringan Anda. Ini syarat mutlak, bukan argumen biaya. Periksa dulu apakah API dengan zero data retention memenuhi aturan Anda.
- Model yang tidak dilayani API mana pun. Hasil fine-tune Anda sendiri atau model open-weight yang khusus.
- Kapasitas yang dijamin. Anda butuh throughput yang tidak akan diberikan rate limit sebuah API.
Untuk kasus lainnya, terutama trafik yang naik-turun, produk tahap awal, dan agen yang berjalan dalam lonjakan, API lebih murah dan tidak butuh jadwal on-call.
Adakah opsi harga tetap di antara GPU dan penagihan per token?
Ada jalan tengah antara menyewa GPU dan membayar per token. BroadNet menjual kunci per jam untuk Gemma 4 VL 26B seharga $0.50 per jam (satu stream, 120 permintaan per menit, 300,000 token per menit), atau $360.00 jika dijalankan sebulan penuh. BroadNet juga menjual sesi paket unlimited untuk DeepSeek V4.1 Flash seharga $60 per bulan, masing-masing menjalankan satu permintaan dalam satu waktu pada sekitar 100 token per detik. Opsi ini memberi tagihan yang bisa diprediksi seperti GPU sewaan, tanpa setup atau operasional, tetapi dengan konkurensi tetap per kunci atau sesi, bukan kapasitas batch satu GPU penuh.
Di mana posisi BroadNet Inference?
BroadNet Inference adalah sisi API dari perbandingan ini: harga per token, paket harga tetap, dan kunci per jam untuk model open-weight, sebagian di-host oleh mitra inferensi AS, di balik API yang kompatibel dengan OpenAI. Layanan ini cocok untuk tim yang trafiknya akan membuat GPU sewaan sering menganggur, atau yang tidak ingin mengelola infrastruktur inferensi. Tidak cocok jika Anda butuh hasil fine-tune kustom yang disajikan, deployment on-premises, atau ratusan permintaan paralel pada satu kunci. Jalankan angka Anda di kalkulator biaya API LLM dan bandingkan dengan tabel di atas. Jika Anda masih memilih antara model terbuka dan tertutup, biaya API model open-weight vs tertutup membandingkan harga per token dari halaman masing-masing penyedia. Kalkulator self-hosting vs API menghitung titik impas secara lengkap dengan throughput hasil ukur Anda dan harga GPU ini.
