“Kita akan jimat jika jalankan sendiri” ialah antara dakwaan paling biasa dalam perancangan kos LLM, dan antara yang paling jarang disemak. Kiraannya tidak sukar. Ia ada satu pemboleh ubah yang sering diteka salah (penggunaan) dan satu kos yang tertinggal (manusia). Catatan ini memberi formulanya, harga sewa sebenar, dan cara mengiranya dengan angka anda sendiri.
Berapakah kos sewa GPU sekarang?
Harga sejam daripada halaman harga rasmi, disemak 2026-11-14 (RunPod) dan 2026-11-16 (Lambda). Sebulan di sini ialah 730 jam.
| GPU | Penyedia dan peringkat (disemak 2026-11-14) | Setiap GPU-jam | Sebulan, sentiasa hidup |
|---|---|---|---|
| H100 SXM | RunPod Secure Cloud | USD 4.39 | kira-kira USD 3,205 |
| H100 SXM | RunPod Community Cloud | USD 2.69 | kira-kira USD 1,964 |
| H100 PCIe | RunPod Secure Cloud | USD 2.89 | kira-kira USD 2,110 |
| H200 | RunPod Secure Cloud | USD 5.29 | kira-kira USD 3,862 |
| A100 80GB SXM | RunPod Secure Cloud | USD 2.19 | kira-kira USD 1,599 |
| L40S | RunPod Secure Cloud | USD 1.09 | kira-kira USD 796 |
| H100 SXM | Lambda atas permintaan, 1 hingga 8 GPU (berkuat kuasa mulai 2026-11-16; disemak 2026-11-16) | USD 4.59 hingga 4.89 | kira-kira USD 3,351 hingga 3,570 |
Halaman Lambda (disemak 2026-11-16) menyatakan harga ini berkuat kuasa pada 2026-11-16 jam 00:00 UTC; kadar setiap GPU turun apabila nod bertambah besar, hingga USD 4.59 pada nod 8 GPU. Kadar Community Cloud RunPod ialah harga “from” (Terjemahan: dari) yang berbeza mengikut hos. Secure Cloud dan Community Cloud ialah peringkat hosting yang berbeza, jadi baca terma peringkat jika anda ada peraturan pengendalian data. Banyak model memerlukan lebih daripada satu GPU: nod H100 8 GPU pada kadar Secure Cloud berharga kira-kira USD 25,638 sebulan.
Bagaimanakah anda mengira kos hos sendiri setiap sejuta token?
GPU menghasilkan token pada kadar agregat tertentu merentas semua permintaan yang di-batch-kannya. Kos anda setiap token ialah harga sejam yang disebarkan ke atas token yang benar-benar dihasilkannya:
kos setiap 1M token = harga sejam ÷ (token sesaat agregat × 3,600 ÷ 1,000,000) ÷ penggunaan
Penggunaan ialah bahagian jam GPU melakukan kerja berguna pada kadar itu. Contoh kiraan dengan angka andaian (bukan penanda aras: ukur model anda sendiri):
- GPU: satu H100 SXM di Community Cloud, USD 2.69 sejam.
- Andaian output agregat: 1,500 token sesaat dengan batching yang baik.
- Token sejam pada beban penuh: 1,500 × 3,600 = 5.4 juta.
| Penggunaan | Token berkesan sejam | Kos setiap 1M token output |
|---|---|---|
| 100% (sentiasa tepu) | 5.4M | USD 0.50 |
| 50% | 2.7M | USD 1.00 |
| 25% (sibuk waktu pejabat sahaja) | 1.35M | USD 1.99 |
| 10% (trafik produk yang turun naik) | 0.54M | USD 4.98 |
Sekarang bandingkan dengan harga API setiap 1M token output. Jadual harga API LLM menunjukkan caj berpuluh-puluh hos untuk open weights yang sama; di BroadNet Inference, DeepSeek V4.1 Flash berharga $0.52 setiap 1M token output dan Gemma 4 VL 26B berharga $0.22. Cari baris di mana kos hos sendiri anda jatuh di bawah harga API: itulah penggunaan titik pulang modal anda. Contoh ini mengabaikan token input, yang juga menggunakan masa GPU (prefill), jadi kos hos sendiri sebenar lebih tinggi daripada yang ditunjukkan jadual.
Berapa banyak token sebulan yang diperlukan untuk pulang modal?
Terbalikkan. GPU yang dibiarkan berjalan menelan harga bulanannya tanpa mengira apa-apa. API berharga token × harga. Volum titik pulang modal ialah:
token sebulan untuk pulang modal = kos GPU sebulan ÷ harga API setiap 1M token × 1,000,000
Bagi satu H100 Community Cloud (kira-kira USD 1,964 sebulan) berbanding harga output $0.52 setiap 1M, bahagikan 1,964 dengan harga itu untuk mendapat berjuta-juta token output sebulan yang mesti anda gantikan sebelum GPU itu membayar dirinya sendiri. Lakukan perkara yang sama dengan harga input dan output gabungan anda jika beban kerja anda berat input, seperti biasanya bagi ejen; catatan kadar tetap vs setiap token menunjukkan cara menggabungkannya.
Dan GPU itu mesti benar-benar mampu menyediakan model tersebut. Jika model memerlukan empat GPU, darabkan kos bulanan dengan empat sebelum membahagi.
Apakah kos yang sering tertinggal?
| Kos | Apa yang diliputi | Cara mengira |
|---|---|---|
| Persediaan kejuruteraan | Enjin penyediaan, pilihan kuantisasi, penskalaan automatik, ujian beban | Jam sekali sahaja × kadar anda |
| Operasi berterusan | Naik taraf, kemas kini pemacu dan enjin, pembaharuan model | Jam sebulan × kadar anda |
| Atas panggilan | Seseorang perlu bangun apabila nod mati | Dasar atas panggilan anda |
| Lewahan | Nod kedua supaya satu kegagalan bukan gangguan perkhidmatan | Menggandakan baris GPU |
| Ruang lebihan melahu | Kapasiti untuk waktu puncak yang mesti sentiasa sedia | Menurunkan penggunaan |
| Penilaian | Menyemak versi model baharu sebelum bertukar | Jam setiap keluaran |
Lewahan ialah yang paling mengubah jawapan. Satu GPU ialah satu titik kegagalan tunggal. Dua GPU membelah dua penggunaan anda serta-merta. Lihat menilai model sebelum bertukar untuk kerja penilaian yang dibawa oleh setiap naik taraf.
Bilakah hos sendiri ialah pilihan yang tepat?
- Volum tinggi yang stabil. Saluran batch yang memastikan GPU tepu sepanjang masa.
- Data mesti kekal dalam rangkaian anda. Satu keperluan wajib, bukan hujah kos. Semak dahulu sama ada API dengan pengekalan data sifar memenuhi peraturan anda.
- Model yang tidak disediakan oleh mana-mana API. Penalaan halus anda sendiri atau model open-weight khusus.
- Kapasiti yang dijamin. Anda memerlukan daya pemprosesan yang tidak akan diberi oleh had kadar API.
Untuk selain itu, terutamanya trafik yang turun naik, produk peringkat awal dan ejen yang berjalan secara berselang, API lebih murah dan tiada giliran atas panggilan.
Adakah pilihan harga tetap antara GPU dan pengebilan setiap token?
Ada jalan tengah antara menyewa GPU dan membayar setiap token. BroadNet menjual kunci sejam untuk Gemma 4 VL 26B pada $0.50 sejam (satu strim, 120 permintaan seminit, 300,000 token seminit), iaitu $360.00 jika dijalankan sebulan penuh. Ia juga menjual sesi pelan tanpa had untuk DeepSeek V4.1 Flash pada $60 sebulan, setiap satu menjalankan satu permintaan pada satu masa pada kira-kira 100 token sesaat. Pilihan ini memberi bil yang boleh dijangka seperti GPU sewaan, tanpa persediaan atau operasi, tetapi dengan keserentakan tetap bagi setiap kunci atau sesi dan bukannya keseluruhan kapasiti batch sebuah GPU.
Di manakah BroadNet Inference sesuai
BroadNet Inference ialah pihak API dalam perbandingan ini: harga setiap token, pelan kadar tetap dan kunci sejam untuk model open-weight, sebahagiannya dihoskan rakan kongsi bersama rakan kongsi inferens di AS, di sebalik API serasi OpenAI. Ia sesuai untuk pasukan yang trafiknya akan membiarkan GPU sewaan melahu sebahagian besar hari, atau yang tidak mahu menjalankan infrastruktur inferens. Ia tidak sesuai jika anda perlukan penalaan halus tersuai disediakan, penggunaan di premis, atau ratusan permintaan selari pada satu kunci. Kira angka anda dalam kalkulator kos API LLM dan bandingkan dengan jadual di atas. Jika anda masih memilih antara model terbuka dan tertutup, kos API model open-weight vs tertutup membandingkan harga setiap token daripada halaman setiap penyedia sendiri. Kalkulator hos sendiri vs API mengira keseluruhan titik pulang modal dengan daya pemprosesan yang anda ukur dan harga GPU ini.
