BroadRouter

Hos LLM sendiri vs API: kos sebenar dan titik pulang modal

Oleh pasukan BroadNet Inference · 5 minit bacaan · Diterbitkan · Dikemas kini

GPU sewaan berharga sama setiap jam sama ada sibuk atau melahu, jadi hos sendiri hanya mengalahkan API pada penggunaan yang tinggi dan stabil. Bahagikan harga sejam dengan token yang benar-benar dihasilkan pelayan sejam, tambah masa kejuruteraan dan atas panggilan, dan bandingkan dengan harga API setiap 1M token. Untuk trafik yang turun naik atau sederhana, API hampir selalu menang.

“Kita akan jimat jika jalankan sendiri” ialah antara dakwaan paling biasa dalam perancangan kos LLM, dan antara yang paling jarang disemak. Kiraannya tidak sukar. Ia ada satu pemboleh ubah yang sering diteka salah (penggunaan) dan satu kos yang tertinggal (manusia). Catatan ini memberi formulanya, harga sewa sebenar, dan cara mengiranya dengan angka anda sendiri.

Berapakah kos sewa GPU sekarang?

Harga sejam daripada halaman harga rasmi, disemak 2026-11-14 (RunPod) dan 2026-11-16 (Lambda). Sebulan di sini ialah 730 jam.

GPU Penyedia dan peringkat (disemak 2026-11-14) Setiap GPU-jam Sebulan, sentiasa hidup
H100 SXM RunPod Secure Cloud USD 4.39 kira-kira USD 3,205
H100 SXM RunPod Community Cloud USD 2.69 kira-kira USD 1,964
H100 PCIe RunPod Secure Cloud USD 2.89 kira-kira USD 2,110
H200 RunPod Secure Cloud USD 5.29 kira-kira USD 3,862
A100 80GB SXM RunPod Secure Cloud USD 2.19 kira-kira USD 1,599
L40S RunPod Secure Cloud USD 1.09 kira-kira USD 796
H100 SXM Lambda atas permintaan, 1 hingga 8 GPU (berkuat kuasa mulai 2026-11-16; disemak 2026-11-16) USD 4.59 hingga 4.89 kira-kira USD 3,351 hingga 3,570

Halaman Lambda (disemak 2026-11-16) menyatakan harga ini berkuat kuasa pada 2026-11-16 jam 00:00 UTC; kadar setiap GPU turun apabila nod bertambah besar, hingga USD 4.59 pada nod 8 GPU. Kadar Community Cloud RunPod ialah harga “from” (Terjemahan: dari) yang berbeza mengikut hos. Secure Cloud dan Community Cloud ialah peringkat hosting yang berbeza, jadi baca terma peringkat jika anda ada peraturan pengendalian data. Banyak model memerlukan lebih daripada satu GPU: nod H100 8 GPU pada kadar Secure Cloud berharga kira-kira USD 25,638 sebulan.

Bagaimanakah anda mengira kos hos sendiri setiap sejuta token?

GPU menghasilkan token pada kadar agregat tertentu merentas semua permintaan yang di-batch-kannya. Kos anda setiap token ialah harga sejam yang disebarkan ke atas token yang benar-benar dihasilkannya:

kos setiap 1M token = harga sejam ÷ (token sesaat agregat × 3,600 ÷ 1,000,000) ÷ penggunaan

Penggunaan ialah bahagian jam GPU melakukan kerja berguna pada kadar itu. Contoh kiraan dengan angka andaian (bukan penanda aras: ukur model anda sendiri):

  • GPU: satu H100 SXM di Community Cloud, USD 2.69 sejam.
  • Andaian output agregat: 1,500 token sesaat dengan batching yang baik.
  • Token sejam pada beban penuh: 1,500 × 3,600 = 5.4 juta.
Penggunaan Token berkesan sejam Kos setiap 1M token output
100% (sentiasa tepu) 5.4M USD 0.50
50% 2.7M USD 1.00
25% (sibuk waktu pejabat sahaja) 1.35M USD 1.99
10% (trafik produk yang turun naik) 0.54M USD 4.98

Sekarang bandingkan dengan harga API setiap 1M token output. Jadual harga API LLM menunjukkan caj berpuluh-puluh hos untuk open weights yang sama; di BroadNet Inference, DeepSeek V4.1 Flash berharga $0.52 setiap 1M token output dan Gemma 4 VL 26B berharga $0.22. Cari baris di mana kos hos sendiri anda jatuh di bawah harga API: itulah penggunaan titik pulang modal anda. Contoh ini mengabaikan token input, yang juga menggunakan masa GPU (prefill), jadi kos hos sendiri sebenar lebih tinggi daripada yang ditunjukkan jadual.

Berapa banyak token sebulan yang diperlukan untuk pulang modal?

Terbalikkan. GPU yang dibiarkan berjalan menelan harga bulanannya tanpa mengira apa-apa. API berharga token × harga. Volum titik pulang modal ialah:

token sebulan untuk pulang modal = kos GPU sebulan ÷ harga API setiap 1M token × 1,000,000

Bagi satu H100 Community Cloud (kira-kira USD 1,964 sebulan) berbanding harga output $0.52 setiap 1M, bahagikan 1,964 dengan harga itu untuk mendapat berjuta-juta token output sebulan yang mesti anda gantikan sebelum GPU itu membayar dirinya sendiri. Lakukan perkara yang sama dengan harga input dan output gabungan anda jika beban kerja anda berat input, seperti biasanya bagi ejen; catatan kadar tetap vs setiap token menunjukkan cara menggabungkannya.

Dan GPU itu mesti benar-benar mampu menyediakan model tersebut. Jika model memerlukan empat GPU, darabkan kos bulanan dengan empat sebelum membahagi.

Apakah kos yang sering tertinggal?

Kos Apa yang diliputi Cara mengira
Persediaan kejuruteraan Enjin penyediaan, pilihan kuantisasi, penskalaan automatik, ujian beban Jam sekali sahaja × kadar anda
Operasi berterusan Naik taraf, kemas kini pemacu dan enjin, pembaharuan model Jam sebulan × kadar anda
Atas panggilan Seseorang perlu bangun apabila nod mati Dasar atas panggilan anda
Lewahan Nod kedua supaya satu kegagalan bukan gangguan perkhidmatan Menggandakan baris GPU
Ruang lebihan melahu Kapasiti untuk waktu puncak yang mesti sentiasa sedia Menurunkan penggunaan
Penilaian Menyemak versi model baharu sebelum bertukar Jam setiap keluaran

Lewahan ialah yang paling mengubah jawapan. Satu GPU ialah satu titik kegagalan tunggal. Dua GPU membelah dua penggunaan anda serta-merta. Lihat menilai model sebelum bertukar untuk kerja penilaian yang dibawa oleh setiap naik taraf.

Bilakah hos sendiri ialah pilihan yang tepat?

  • Volum tinggi yang stabil. Saluran batch yang memastikan GPU tepu sepanjang masa.
  • Data mesti kekal dalam rangkaian anda. Satu keperluan wajib, bukan hujah kos. Semak dahulu sama ada API dengan pengekalan data sifar memenuhi peraturan anda.
  • Model yang tidak disediakan oleh mana-mana API. Penalaan halus anda sendiri atau model open-weight khusus.
  • Kapasiti yang dijamin. Anda memerlukan daya pemprosesan yang tidak akan diberi oleh had kadar API.

Untuk selain itu, terutamanya trafik yang turun naik, produk peringkat awal dan ejen yang berjalan secara berselang, API lebih murah dan tiada giliran atas panggilan.

Adakah pilihan harga tetap antara GPU dan pengebilan setiap token?

Ada jalan tengah antara menyewa GPU dan membayar setiap token. BroadNet menjual kunci sejam untuk Gemma 4 VL 26B pada $0.50 sejam (satu strim, 120 permintaan seminit, 300,000 token seminit), iaitu $360.00 jika dijalankan sebulan penuh. Ia juga menjual sesi pelan tanpa had untuk DeepSeek V4.1 Flash pada $60 sebulan, setiap satu menjalankan satu permintaan pada satu masa pada kira-kira 100 token sesaat. Pilihan ini memberi bil yang boleh dijangka seperti GPU sewaan, tanpa persediaan atau operasi, tetapi dengan keserentakan tetap bagi setiap kunci atau sesi dan bukannya keseluruhan kapasiti batch sebuah GPU.

Di manakah BroadNet Inference sesuai

BroadNet Inference ialah pihak API dalam perbandingan ini: harga setiap token, pelan kadar tetap dan kunci sejam untuk model open-weight, sebahagiannya dihoskan rakan kongsi bersama rakan kongsi inferens di AS, di sebalik API serasi OpenAI. Ia sesuai untuk pasukan yang trafiknya akan membiarkan GPU sewaan melahu sebahagian besar hari, atau yang tidak mahu menjalankan infrastruktur inferens. Ia tidak sesuai jika anda perlukan penalaan halus tersuai disediakan, penggunaan di premis, atau ratusan permintaan selari pada satu kunci. Kira angka anda dalam kalkulator kos API LLM dan bandingkan dengan jadual di atas. Jika anda masih memilih antara model terbuka dan tertutup, kos API model open-weight vs tertutup membandingkan harga setiap token daripada halaman setiap penyedia sendiri. Kalkulator hos sendiri vs API mengira keseluruhan titik pulang modal dengan daya pemprosesan yang anda ukur dan harga GPU ini.

Soalan lazim

Adakah lebih murah untuk hos LLM sendiri berbanding menggunakan API?

Hanya pada volum yang tinggi dan stabil. GPU sewaan dibilkan setiap jam; API hanya membilkan token yang anda gunakan. Jika GPU anda melahu sepanjang sebahagian besar hari, API lebih murah walaupun sebelum mengira masa kejuruteraan.

Berapakah kos menyewa H100 sejam?

Di halaman harga RunPod pada 2026-11-14, H100 SXM berharga USD 4.39 sejam di Secure Cloud dan dari USD 2.69 di Community Cloud. Lambda menyenaraikan H100 SXM atas permintaan pada USD 4.59 hingga 4.89 setiap GPU-jam, bergantung pada saiz nod, pada harga yang berkuat kuasa mulai 2026-11-16. Semak halaman tersebut untuk kadar semasa.

Berapa banyak GPU yang saya perlukan untuk hos model besar sendiri?

Sekurang-kurangnya memori yang cukup untuk weights serta KV cache bagi permintaan serentak anda. Model mixture-of-experts yang besar biasanya memerlukan nod berbilang GPU. Semak kad model untuk bilangan parameter dan persediaan yang disyorkan.

Bilakah hos sendiri masuk akal walaupun kosnya lebih tinggi?

Apabila data tidak boleh keluar dari rangkaian anda, apabila anda memerlukan model yang ditala halus atau tersuai yang tidak disediakan oleh mana-mana API, atau apabila anda memerlukan kapasiti yang dijamin. Itu sebab kawalan, bukan sebab kos.

Bagaimanakah saya mengukur daya pemprosesan sebenar GPU saya?

Jalankan prompt sebenar anda pada keserentakan sebenar anda dengan enjin penyediaan seperti vLLM atau SGLang, dan rekodkan jumlah token output sesaat merentas semua permintaan. Angka puncak vendor mengandaikan batching yang ideal.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity