Kebanyakan daftar “pangkas tagihan LLM Anda 70%” mencampur saran bagus dengan angka yang tidak pernah diukur siapa pun. Checklist ini diurutkan berdasarkan apa yang harus dikerjakan lebih dulu, dan setiap angkanya berasal dari file harga atau dokumentasi penyedia itu sendiri. Jika suatu langkah punya artikel yang lebih mendalam di situs ini, kami tautkan ke sana. Harga BroadNet di bawah diambil dari file harganya, yang disinkronkan pada 2026-11-14.
Apa yang menentukan tagihan API LLM?
Hampir setiap tagihan ditentukan oleh empat angka:
- Token input baru. Prompt, dikurangi bagian yang dibaca dari cache.
- Token input cache. Prefix yang berulang, ditagih dengan tarif lebih rendah.
- Token output. Jawaban, ditambah token penalaran pada model yang berpikir.
- Jumlah permintaan. Setiap panggilan, termasuk setiap retry, ditagih tersendiri.
Unit yang mahal adalah output. Di model chat BroadNet, per 1 juta token:
| Model | Input | Input cache | Output |
|---|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 | $0.52 |
| Qwen3.8 27B | $0.175 | $0.0435 | $2.17 |
| GLM 5.3 | $0.78 | $0.173 | $3.46 |
| Gemma 4 VL 26B | $0.10 | tidak dipublikasikan | $0.22 |
Jadi tuasnya adalah: kirim lebih sedikit token baru, baca lebih banyak dari cache, hasilkan lebih sedikit, dan lakukan lebih sedikit panggilan. Cara kerja harga API LLM membahas setiap unit secara rinci.
Ringkasan checklist
| Langkah | Yang Anda ubah | Yang dipangkas | Usaha |
|---|---|---|---|
| 1. Ukur | Hanya logging | Belum ada; menunjukkan di mana harus memangkas | Rendah |
| 2. Cache prefix | Urutan prompt | Harga input | Rendah |
| 3. Ringkas prompt | Isi prompt | Token input | Sedang |
| 4. Batasi output dan penalaran | Pengaturan permintaan | Token output | Rendah |
| 5. Pilih ukuran model yang pas | Pilihan model | Semua harga | Sedang |
| 6. Batch atau geser pekerjaan | Penjadwalan | Harga per token, jika tersedia | Sedang |
| 7. Cache jawaban | Kode aplikasi | Seluruh permintaan | Sedang |
| 8. Batasi retry dan loop | Kode aplikasi | Permintaan yang terbuang | Rendah |
| 9. Pasang batas pengeluaran | Akun dan kunci | Tagihan yang membengkak | Rendah |
| 10. Cek titik impas harga tetap | Model penagihan | Total tagihan pada volume tinggi | Rendah |
1. Kenapa harus mengukur sebelum memangkas apa pun?
Karena tagihan menyembunyikan penyebabnya. Dua permintaan yang tampak sama bisa berbeda sepuluh kali lipat dalam jumlah token. Setiap chat completion mengembalikan blok usage berisi prompt_tokens, completion_tokens, dan, jika penyedia melaporkannya, token cache. Catat angka-angka itu per fitur dan per pengguna, tanpa teks prompt. Setelah seminggu Anda tahu fitur mana yang paling boros dan apakah penyebabnya input, cache miss, atau output.
Logging pemakaian dengan PII disamarkan menunjukkan skema log-nya. Untuk memperkirakan ukuran fitur sebelum dirilis, pakai kalkulator biaya API LLM atau metode di memperkirakan biaya sebelum peluncuran.
2. Bagaimana prompt caching memangkas biaya?
Penyedia menyimpan di cache bagian awal prompt yang berulang persis sama. Panggilan berikutnya membaca prefix itu dengan harga cache. OpenAI mengaktifkan caching secara default untuk model yang didukung, mulai 1.024 token, dan menyebut input cache “discounted up to 95%” (Terjemahan BroadRouter: “didiskon hingga 95%”) (dicek 2026-11-15). Di BroadNet, DeepSeek V4.1 Flash menagih input cache $0.0055 per 1 juta token, dibanding $0.175 untuk input baru.
Aturannya: konten statis di depan, konten yang berubah di belakang. System prompt, lalu skema tool, lalu dokumen bersama, lalu riwayat, lalu pertanyaan baru. Timestamp atau daftar tool yang urutannya diacak di bagian atas akan merusak cache untuk semua yang ada setelahnya.
- Penjelasan token input cache, termasuk cara membacanya di respons.
- Cara menyusun prompt agar prefix-nya ter-cache.
- Modelkan cache hit rate Anda sendiri di kalkulator prompt caching.
3. Pemangkasan prompt mana yang aman?
Pangkas apa yang tidak dipakai model. Penghematan yang umum: system prompt panjang yang ditulis sebagai prosa, contoh few-shot yang lebih banyak dari kebutuhan tugas, skema tool untuk tool yang tidak pernah dipanggil di langkah itu, JSON bertele-tele padahal tabel ringkas sudah cukup, dan riwayat chat lengkap padahal ringkasan sudah cukup. Retrieval juga bisa melebar: mengirim sepuluh potongan padahal dua sudah menjawab pertanyaan adalah masalah biaya sekaligus kualitas.
Uji setiap pemangkasan dengan set input yang tetap, agar prompt yang lebih murah tidak diam-diam merusak jawaban. Mengurangi token prompt berisi hasil pemangkasan yang terukur untuk masing-masing hal di atas. Bahasa juga berpengaruh: di sebagian besar tokenizer, teks bahasa Arab memakai lebih banyak token per kata daripada bahasa Inggris; lihat token per kata dalam bahasa Arab vs Inggris.
4. Bagaimana cara membatasi output dan penalaran?
Minta lebih sedikit, lalu beri batas. Minta field JSON alih-alih prosa, batas jumlah kata alih-alih “jelaskan”, dan jangan minta model mengulang pertanyaan. Lalu atur max_tokens agar jawaban yang kebablasan berhenti.
Model yang berpikir perlu perhatian khusus. Dokumentasi BroadNet menyebut penalaran ikut dihitung dalam max_tokens, jadi batas yang rendah bisa menghasilkan jawaban kosong. Sisakan 1.000 token atau lebih, dan atur reasoning_effort ke low untuk langkah sederhana. Pada kunci per token, penalaran ditagih sebagai output. Token penalaran: kenapa Anda membayar lebih dari yang terlihat dan solusi jawaban kosong membahas kedua sisinya.
5. Bagaimana memilih model yang lebih murah tanpa mengorbankan kualitas?
Bandingkan biaya per tugas yang berhasil, bukan harga per token. Siapkan 50 sampai 100 input nyata beserta output yang diharapkan, jalankan setiap kandidat, lalu bagi pengeluaran dengan jumlah yang lolos. Model yang lebih murah per token tetapi gagal sepertiga kali bisa jadi lebih mahal setelah Anda menghitung retry dan review manual.
Cek fiturnya dulu. Di BroadNet, tools dan output terstruktur hanya didokumentasikan untuk GLM 5.3 dan Qwen3.8 27B. Gemma 4 VL 26B adalah model teks-dan-gambar BroadNet yang lebih kecil; lihat harganya di tabel di atas untuk tugas sederhana. Banyak aplikasi memakai model kecil untuk langkah mudah dan model lebih besar untuk langkah sulit; Anda sendiri yang memilih model di kode Anda. Cara mengevaluasi LLM sebelum beralih memberi rencana pengujiannya.
Jangan menunggu model Anda saat ini menjadi lebih murah. Penyedia jarang menurunkan harga model yang sudah ada; penghematan biasanya datang bersama versi baru. Lihat riwayat harga API OpenAI vs Anthropic vs Google dan penurunan harga API LLM terbesar.
6. Bisakah pekerjaan yang bisa menunggu dijalankan secara batch atau digeser?
Jika penyedia menawarkannya, bisa, dan diskonnya besar. Semua dicek 2026-11-15:
| Penyedia | Diskon | Syaratnya |
|---|---|---|
| OpenAI Batch API | 50% dibanding panggilan sinkron | Selesai dalam 24 jam; rate limit terpisah |
| Anthropic Message Batches API | 50% | Asinkron; sebagian besar batch selesai dalam waktu kurang dari satu jam |
| API DeepSeek, di luar jam sibuk | Tarif di luar jam sibuk separuh tarif jam sibuk | Jam sibuk 01.00–04.00 dan 06.00–10.00 UTC, Senin–Jumat |
BroadNet Inference tidak punya Batch API maupun harga di luar jam sibuk. Untuk job semalam di BroadNet, jalankan lewat runner yang bisa dilanjutkan di endpoint biasa, dalam batas kunci Anda. Kodenya ada di pemrosesan batch LLM tanpa Batch API. Jika job berjalan berjam-jam, sesi harga tetap bisa lebih murah daripada tokennya (langkah 10).
7. Kapan sebaiknya seluruh jawaban di-cache?
Saat pertanyaan yang sama datang lagi dengan input yang sama. Bot FAQ, klasifikasi item yang berulang, dan menjalankan ulang pipeline setelah crash semuanya mengulang pekerjaan. Cache exact-match dengan kunci berupa model, prompt, dan pengaturan akan mengembalikan jawaban yang tersimpan dan melewati panggilan. Tetapkan masa kedaluwarsa agar jawaban tidak basi. Cache respons LLM di Python menunjukkan implementasi kecilnya.
8. Bagaimana retry dan loop membuang uang?
Permintaan yang dicoba ulang adalah inferensi baru dan ditagih lagi pada kunci per token. Lakukan retry hanya untuk error 429 dan 5xx, dengan exponential backoff dan jitter, dan batasi jumlah percobaannya. Jangan pernah me-retry 400: permintaan buruk yang sama akan gagal dengan cara yang sama.
Agen menambah risiko kedua: loop yang terus memanggil model. Batasi jumlah langkah per tugas dan hentikan saat panggilan tool yang sama berulang. Menangani error 429 dan 10 cara memangkas biaya coding agent membahas keduanya.
9. Bagaimana mencegah tagihan membengkak?
Peringatan memberi tahu setelah kejadian. Batas yang menghentikannya. Pakai saldo prabayar, satu kunci per aplikasi agar Anda bisa mencabut satu kunci tanpa menghentikan yang lain, dan daftar IP yang diizinkan (allow-list) untuk kunci server. Di kode, tetapkan anggaran per job dan berhenti saat anggarannya habis. Kontrol pengeluaran API LLM memaparkan lapisan-lapisannya, dari akun sampai permintaan.
10. Kapan paket harga tetap mengalahkan harga per token?
Saat sebuah agen berjalan hampir sepanjang hari. BroadNet menjual DeepSeek V4.1 Flash per token atau per sesi: Full Moon $60 per bulan, Orbit $15 per minggu, atau Meteor $1 per jam, tanpa meteran token. Satu sesi menjalankan satu permintaan dalam satu waktu.
Skenario hitungan BroadNet untuk penagihan per token:
| Beban kerja | Per token per bulan | Opsi yang lebih murah |
|---|---|---|
| Proyek sampingan | $14.23 | bayar sesuai pemakaian |
| Asisten harian | $42.67 | bayar sesuai pemakaian |
| Coding agent penuh waktu | $65.40 | Full Moon |
| Agen yang selalu aktif | $196.20 | Full Moon |
Dengan cache hit 80% dan 20 token input per token output, titik impasnya sekitar 917 juta token input dan 46 juta token output per bulan. Pemakaian ringan tetap lebih murah per token. Lihat hitungan titik impas lengkapnya, atau coba volume Anda di kalkulator harga tetap vs per token.
Langkah mana yang sebaiknya dilewati?
Sebagian saran populer justru lebih mahal daripada penghematannya:
- Mengompresi prompt sampai rusak. Penghematan input hilang jika kualitas jawaban turun dan pengguna mencoba lagi.
- Meringkas riwayat di setiap giliran. Setiap ringkasan adalah panggilan tambahan, dan ringkasan mengubah prefix sehingga cache meleset. Ringkas sesekali saja dan tambahkan sisanya di belakang.
- Mengejar harga per token terendah semata. Rate limit, fitur yang tidak ada, dan tingkat kegagalan semuanya menambah biaya.
- Self-hosting untuk beban kerja kecil. GPU ditagih per jam, sibuk atau tidak. Biaya self-hosting vs API menunjukkan letak titik impasnya.
Posisi BroadNet Inference
BroadRouter adalah situs web milik BroadNet sendiri, jadi pertimbangkan bagian ini dengan mengingat hal tersebut. BroadNet Inference adalah API kompatibel OpenAI dengan empat model chat berharga per token, input cache di tiga di antaranya, dan paket harga tetap DeepSeek V4.1 Flash untuk pemakaian agen yang stabil. Layanan ini tidak menawarkan Batch API atau tarif di luar jam sibuk, jadi untuk job besar yang bisa menunggu, diskon batch OpenAI atau Anthropic, atau jam di luar jam sibuk DeepSeek, bisa lebih murah. Akun baru mendapat kredit awal $5, yang mencakup Gemma 4 VL 26B, kedua model Transcribe, dan kunci per jam Gemma; DeepSeek, GLM, dan Qwen memerlukan top up. Layanan swalayan tidak memiliki SLA. Lihat harga atau bandingkan paketnya.
