Untuk menganggar kos API LLM sebelum pelancaran, tetapkan harga bagi satu tindakan pengguna dan bukannya satu panggilan API. Kira panggilan di sebaliknya, ukur token input baharu, input cache dan output pada 20 hingga 50 sampel sebenar, darab dengan tindakan sebulan, kemudian tambah penaakulan dan cubaan semula. Contoh balasan sokongan kami pada DeepSeek V4.1 Flash berjumlah $42.67 sebulan.
Ini ramalan pra-pelancaran untuk satu ciri; apabila anda sudah ada pengguna berbayar, kos LLM setiap pengguna untuk SaaS merangkumi margin dan peringkat harga.
Apakah formula kos API LLM?
monthly cost = actions per month × calls per action
× ( new input tokens × input price
+ cached input tokens × cached price
+ output tokens × output price ) / 1,000,000
Token output termasuk penaakulan. Token cache ialah input yang digunakan semula oleh penyedia pada harga lebih rendah. Selebihnya ialah pengukuran. Kalkulator kos API LLM percuma menggunakan formula ini pada harga senarai mana-mana model.
Bagaimanakah anda membina model kos, langkah demi langkah?
- Namakan unit kerja. “Draf balasan sokongan”, “ringkaskan panggilan”, “betulkan ujian yang gagal”. Tetapkan harga untuk itu, bukan untuk “satu permintaan”.
- Kira panggilan setiap tindakan. Jawapan berasaskan pengambilan mungkin satu panggilan. Ejen yang merancang, menyunting dan menyemak mungkin sepuluh. Tambah kadar cubaan semula anda: tamat masa yang dicuba semula dibilkan sekali lagi.
- Ukur token setiap panggilan pada sampel sebenar. Ambil 20 hingga 50 input yang realistik, bukan demo yang kemas. Untuk kiraan kasar pertama sebelum memanggil mana-mana API, tampalkannya ke dalam pembilang token. Baca
usage.prompt_tokens,usage.prompt_tokens_details.cached_tokensdanusage.completion_tokensdaripada setiap respons. Dengan penstriman, tetapkanstream_options: {"include_usage": true}; panduan penstriman menunjukkan di mana ia muncul. - Pisahkan input baharu dan input cache. Prompt sistem, senarai alat dan dokumen yang dikongsi boleh dicache jika ia datang dahulu dan kekal sama. Teks pengguna tidak boleh.
- Masukkan penaakulan dalam output. DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B berfikir sebelum menjawab. Token penaakulan itu dibilkan sebagai output, dan selalunya lebih besar daripada balasan yang kelihatan. Mengapa penaakulan berkos lebih daripada yang anda nampak.
- Anggarkan volum. Pengguna aktif × tindakan setiap pengguna sehari × 30.
- Darab dan jumlahkan. Tukar jumlah token kepada juta dan gunakan harga setiap 1M.
- Tetapkan harga tiga senario. Rendah, dijangka dan tinggi. Trafik pelancaran tidak menentu, dan prompt bertambah panjang dari semasa ke semasa.
- Semak had, bukan hanya wang. Permintaan seminit pada waktu puncak dan permintaan serentak mesti muat dalam had kadar kunci anda.
- Tentukan model pengebilan. Setiap token untuk trafik yang turun naik dan dipacu pengguna; pelan kadar tetap untuk ejen yang sentiasa aktif.
Bagaimanakah rupa contoh anggaran? Penderaf balasan sokongan
Sebuah aplikasi meja bantuan menambah “Draft reply”. Angka di bawah ialah andaian untuk ilustrasi. Gantikan setiap satu dengan ukuran anda.
| Input | Nilai | Sumber |
|---|---|---|
| Ejen sokongan (kakitangan) yang menggunakan ciri ini | 500 | Pelan produk |
| Draf setiap ejen sehari | 4 | Penggunaan rintis |
| Hari sebulan | 30 | |
| Tindakan sebulan | 60,000 | 500 × 4 × 30 |
| Panggilan setiap tindakan | 1 | Satu panggilan dengan artikel yang diambil |
| Token input setiap panggilan | 5,000 | Prompt sistem, bebenang tiket, tiga artikel bantuan |
| Bahagian input yang dicache | 50% | Prompt sistem dan awalan artikel yang stabil |
| Token output setiap panggilan | 500 | Kira-kira 200 kelihatan, 300 penaakulan |
| Model | DeepSeek V4.1 Flash | $0.175 / $0.0055 / $0.52 setiap 1M |
Sekarang jumlahnya:
| Baris | Token sebulan | Harga setiap 1M |
|---|---|---|
| Input baharu | 150M | $0.175 |
| Input cache | 150M | $0.0055 |
| Output, termasuk penaakulan | 30M | $0.52 |
| Kos bulanan dijangka | $42.67 |
Itu 300M token input dan 30M token output: 60,000 × 5,000 dan 60,000 × 500.
Berapa luaskah senario rendah dan tinggi?
| Senario | Tindakan sebulan | Token input / output | Kos bulanan |
|---|---|---|---|
| Rendah: penerimaan perlahan | 20,000 | 100M / 10M | $14.23 |
| Dijangka | 60,000 | 300M / 30M | $42.67 |
| Tinggi: penerimaan 3× | 180,000 | 900M / 90M | 3 × $42.67 |
Ketiga-tiganya mengekalkan bahagian cache 50% yang sama. Jika bahagian cache turun, bil naik: input baharu berharga $0.175 setiap 1M pada model ini berbanding $0.0055 untuk cache. Cara mengekalkan bahagian cache yang tinggi.
Apakah yang paling menggerakkan anggaran?
- Panjang konteks. Pengambilan yang menarik sepuluh artikel dan bukannya tiga boleh menggandakan input. Ukur token selepas setiap perubahan prompt.
- Penaakulan. Menetapkan
reasoning_effortkepadalowpada draf mudah mengecilkan output tersembunyi. Penaakulan dan max_tokens. - Cubaan semula dan gelung. Kadar cubaan semula 5% menambah 5% pada setiap baris. Gelung ejen tanpa had langkah langsung tiada siling. Kawalan perbelanjaan untuk API LLM.
- Pilihan model. Gemma 4 VL 26B berharga $0.10 input dan $0.22 output setiap 1M, tetapi konteksnya 32,768 token dan BroadNet tidak menyenaraikan penaakulan untuknya. Uji kualiti sebelum bertukar untuk berjimat.
- Bahasa. Kandungan yang sama boleh memerlukan jauh lebih banyak token dalam bahasa Arab atau Hindi berbanding bahasa Inggeris, dan jurangnya bergantung pada tokenizer. Set data kos sebenar mengikut bahasa kami menunjukkan harga setiap 1M aksara bagi setiap bahasa pada setiap model dan penyedia.
- Pertumbuhan prompt. Prompt cenderung bertambah panjang selepas pelancaran apabila kes tepi ditangani. Ulang pengukuran pada setiap keluaran.
- Perubahan harga. Harga senarai jarang berubah, tetapi boleh naik. Dalam halaman harga yang diarkibkan daripada 11 penyedia, kami merekodkan 52 kenaikan harga senarai antara 2024 dan November 2026, setiap satu membandingkan harga sesuatu model dengan harganya sendiri sebelum itu (berbanding 100 penurunan); median kenaikan ialah 40% pada harga gabungan. Lihat cara membuat bajet untuk kenaikan harga API LLM.
Jika anggaran keluar terlalu tinggi, ikuti senarai semak 10 langkah untuk mengurangkan kos API LLM sebelum anda mengubah ciri itu.
Adakah volum itu muat dalam had kadar?
60,000 tindakan sebulan ialah kira-kira 2,000 sehari. Jika satu persepuluh draf sehari jatuh pada jam paling sibuk, itu 200 sejam, atau kira-kira 3 seminit. Kunci bayar ikut guna BroadNet membenarkan 30 permintaan seminit dan 4 serentak, jadi ini muat dalam satu kunci. Semak senario tinggi juga, atau masukkan waktu puncak anda sendiri ke dalam kalkulator had kadar. Untuk kiraan antara kadar dan permintaan serentak, lihat keserentakan. Jika anda menerima 429, tunggu dan cuba semula.
Patutkah ciri ini berjalan pada pelan kadar tetap?
Mungkin tidak. Sesi Full Moon berharga $60 sebulan, tetapi satu sesi menjalankan satu permintaan pada satu masa, dan ramai pengguna yang mengklik “Draft” serentak memerlukan permintaan selari. Pelan kadar tetap sesuai untuk ejen yang bekerja berterusan, seperti ejen pengekodan. Kiraan pulang modal menunjukkan ejen pengekodan sepenuh masa pada $65.40 sebulan jika dibayar setiap token, melebihi harga pelan.
Bagaimanakah anda menukar anggaran kepada bajet?
- Letakkan angka dijangka dalam rancangan anda dan angka tinggi dalam ambang amaran anda.
- Rekodkan token setiap tindakan dalam pengeluaran dan bandingkan dengan model setiap minggu.
- Tetapkan had keras dalam kod:
max_tokens, had langkah dan had cubaan semula. - Ulang anggaran setiap kali anda menukar model, prompt atau tetapan pengambilan.
Anda boleh mengulangi kiraan setiap token dengan angka anda sendiri dalam kalkulator kos API LLM, atau membandingkan pelan dengan setiap token di halaman harga.
Di manakah BroadNet Inference sesuai
BroadNet Inference menerbitkan harga setiap token bagi setiap model chat dan transkripsi yang disediakannya dalam satu fail harga, jadi anggaran di atas boleh disimpan dalam kod. Akaun baharu mendapat kredit permulaan $5 yang boleh digunakan pada Gemma 4 VL 26B dan kedua-dua model transkripsi, jadi anda boleh mengukur sampel anda pada Gemma; DeepSeek, GLM dan Qwen memerlukan tambah nilai. Jika ciri anda memerlukan model terdepan tertutup, BroadNet bukan penyedia yang tepat untuk bahagian itu.
