BroadRouter
Mulai

Token input cache: cara memangkas tagihan API LLM

Oleh tim BroadNet Inference · 5 menit baca · Dipublikasikan · Diperbarui

Token input cache adalah token prompt yang sudah pernah diproses penyedia dan bisa dipakai ulang, sehingga ditagih dengan tarif lebih rendah. Di BroadNet Inference, DeepSeek V4.1 Flash menagih input cache $0.0055 per 1 juta token, dibanding $0.175 untuk input baru. Untuk mendapat diskonnya, letakkan bagian prompt yang stabil di depan dan jaga agar identik di setiap panggilan.

Sebagian besar yang dikirim agen ke LLM sama di setiap giliran: system prompt, definisi tool, file yang sedang dikerjakan, dan percakapan sejauh ini. Hanya pesan terakhir yang baru. Prompt caching berarti penyedia tidak menagih bagian yang berulang itu dengan harga penuh.

Apa itu token input cache?

Setiap permintaan terdiri dari token input dan output. Sebelum bisa menjawab, model memproses seluruh prompt. Jika permintaan sebelumnya diawali dengan token yang persis sama, sistem penyajian bisa memakai ulang kerja itu alih-alih mengulanginya. Bagian yang dipakai ulang dilaporkan sebagai token input cache dan ditagih dengan tarif lebih rendah.

Dari cara kerja ini, ada dua hal yang perlu dicatat:

  • Hanya prefix yang di-cache. Pencocokan berjalan dari token pertama ke depan dan berhenti di perbedaan pertama.
  • Jawaban tidak pernah di-cache. Model tetap menghasilkan output baru, yang ditagih dengan harga output penuh.

Berapa harga token cache di BroadNet Inference?

Per 1 juta token, dari file harga yang dipublikasikan:

Model Input baru Input cache Output
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
GLM 5.3 $0.78 $0.173 $3.46
Qwen3.8 27B $0.175 $0.0435 $2.17

Untuk DeepSeek V4.1 Flash, selisihnya besar: bandingkan $0.0055 per 1 juta token cache dengan $0.175 per 1 juta token baru. Bagi agen yang mengirim ulang repositori 200.000 token di setiap giliran, cache rate menentukan sebagian besar tagihan.

Seberapa besar penghematan dari caching? Contoh hitungan

Sebuah coding agent mengirim prompt 200.000 token sebanyak 100 kali dalam satu hari kerja. Itu berarti 20 juta token input per hari.

Cache rate Token input baru Token input cache
0% 20 jt dengan $0.175 per 1 jt 0
50% 10 jt dengan $0.175 per 1 jt 10 jt dengan $0.0055 per 1 jt
90% 2 jt dengan $0.175 per 1 jt 18 jt dengan $0.0055 per 1 jt

Rumus tagihan input harian adalah new tokens (M) × input price + cached tokens (M) × cached price. Pada 90%, 18 jt dari 20 jt token input ditagih dengan harga cache, bukan harga input penuh, jadi makin lebar selisih kedua harga itu, makin besar bagian tagihan input yang Anda hemat. Output tidak berubah. Coba angka Anda sendiri di kalkulator prompt caching.

Bagaimana melihat token cache di respons API?

Referensi API BroadNet menyebutkan bahwa saat model melaporkannya, objek usage membawa prompt_tokens_details.cached_tokens: token prompt yang dibaca dari cache dan ditagih dengan harga cache. Dalam streaming, minta usage di chunk terakhir:

from openai import OpenAI
import os

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
    {"role": "system", "content": "You are a code reviewer."},  # stable prefix: keep it identical
    {"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=messages,
    stream=True,
    stream_options={"include_usage": True},
)
for chunk in stream:
    if chunk.usage:
        u = chunk.usage
        cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
        print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")

Catat rasio itu per permintaan selama sehari. Angka itu menunjukkan apa yang sebenarnya Anda bayar, dan itulah angka yang dimasukkan ke kalkulator prompt caching. Selengkapnya tentang usage saat streaming ada di panduan streaming.

Apa beda prompt caching di OpenAI, Anthropic, dan DeepSeek?

Caching tidak terstandardisasi. Inilah isi dokumentasi resmi saat kami mengaksesnya pada 14 November 2026:

OpenAI Anthropic DeepSeek (API langsung)
Aktivasi Default untuk model yang didukung Opt-in dengan field cache_control (otomatis atau per blok) Default untuk semua pengguna
Prompt minimum 1.024 token di GPT-5.6 dan sesudahnya 512 sampai 4.096 token, tergantung model Tidak disebutkan
Masa hidup cache Default 30 menit di GPT-5.6 dan sesudahnya; ada opsi 12 jam Default 5 menit, 1 jam dengan biaya tambahan Best effort; dihapus saat tidak dipakai, “a few hours to a few days” (Terjemahan BroadRouter: “beberapa jam hingga beberapa hari”)
Penulisan 1,25× input (30 menit) atau 2,5× (12 jam) di GPT-5.6 dan sesudahnya 1,25× input untuk 5 menit, 2× untuk 1 jam Tidak disebut ada biaya penulisan
Pembacaan 0,1× input di GPT-5.6 dan sesudahnya (0,05× di GPT-6.1 Sol dan Terra) 0,1× input di sebagian besar model, lebih rendah di beberapa Harga “cache hit” tersendiri
Field usage cached_tokens di detail token cache_read_input_tokens prompt_cache_hit_tokens

Sumber: panduan prompt caching OpenAI, dokumentasi prompt caching Anthropic, dan dokumentasi context caching DeepSeek. Di penyedia yang mengenakan biaya tambahan untuk penulisan, cache yang ditulis tetapi tidak pernah dibaca justru lebih mahal daripada tanpa cache sama sekali. Caching hanya menguntungkan untuk prompt yang benar-benar Anda ulang. Untuk membandingkan harga daftar per model, lihat tabel harga API LLM.

Apa yang menurunkan cache rate Anda?

Cache mencocokkan prefix yang persis sama, jadi apa pun yang berubah di bagian awal prompt membuat sisanya menjadi baru. Penyebab yang umum:

  • timestamp, ID permintaan, atau nama pengguna di dekat bagian atas system prompt;
  • definisi tool atau JSON yang diserialisasi dengan urutan key berbeda di setiap panggilan, sehingga token-nya berubah;
  • agen yang menulis ulang atau meringkas riwayatnya alih-alih menambahkannya di belakang;
  • jeda panjang, setelah itu cache sudah kedaluwarsa.

Solusinya adalah urutan lapisan yang tetap (system prompt, tools, dokumen, riwayat, pesan baru) dengan setiap lapisan identik byte demi byte di setiap panggilan. Panduan kami tentang cara menyusun prompt agar prefix-nya ter-cache membahas tata letak itu dalam kode, lengkap dengan pengujian yang membuktikan prefix-nya dipakai ulang.

Kapan caching tidak lagi penting?

Di paket harga tetap, tagihan sama sekali tidak bergantung pada token. Full Moon berharga $60 per bulan per sesi untuk DeepSeek V4.1 Flash tanpa batas. Jika agen Anda sudah melewati titik impas, cache rate tidak lagi menjadi masalah biaya. Pada prompt panjang, kebiasaan di atas tetap membantu kecepatan, jadi tetap layak dipertahankan.

Kenapa caching lebih penting pada konteks panjang?

DeepSeek V4.1 Flash dan GLM 5.3 menerima hingga 1.048.576 token per permintaan. Caching-lah yang membuat prompt sangat panjang tetap terjangkau pada kunci per token, karena bagian besar yang berulang dari context window ditagih dengan tarif cache. Lihat kapan context window 1 juta token layak dipakai.

Posisi BroadNet Inference

BroadNet memublikasikan harga input cache untuk setiap model chat yang memilikinya dan melaporkan token cache di usage saat model melaporkannya, sehingga Anda bisa mengukur rasio Anda sebelum berkomitmen. BroadNet tidak memublikasikan masa hidup cache atau panjang prompt minimum, jadi ukurlah keduanya pada trafik Anda sendiri. Jika agen Anda berjalan sepanjang hari, paket harga tetap menghilangkan pertanyaan ini sepenuhnya.

Pertanyaan umum

Apakah prompt caching perlu diaktifkan?

Tergantung penyedianya. OpenAI dan DeepSeek melakukan caching otomatis; Anthropic memerlukan field cache_control. Di BroadNet Inference, cek blok usage: saat model melaporkan token cache, token itu muncul sebagai prompt_tokens_details.cached_tokens dan ditagih dengan harga input cache.

Bagaimana cara mengecek apakah prompt caching berjalan?

Minta data usage di setiap permintaan, lalu hitung cached_tokens dibagi prompt_tokens. Jika rasionya mendekati nol pada panggilan kedua dari prompt panjang yang berulang, berarti ada sesuatu di bagian awal prompt yang berubah antar panggilan.

Kenapa cache rate saya rendah?

Biasanya karena ada sesuatu di bagian awal prompt yang berubah di setiap panggilan, seperti timestamp, ID permintaan, atau daftar tool yang urutannya berubah. Pindahkan konten yang berubah ke bagian akhir.

Apa bedanya prompt caching dan response caching?

Prompt caching memakai ulang kerja penyedia atas prefix prompt yang berulang, dan model tetap menulis jawaban baru. Response caching adalah sesuatu yang Anda bangun sendiri, yaitu menyimpan jawaban utuh dan mengembalikannya untuk pertanyaan yang identik tanpa memanggil model.

Apakah token cache gratis?

Tidak. Token cache ditagih dengan tarif lebih rendah, bukan nol. Di DeepSeek V4.1 Flash, input cache berharga $0.0055 per 1 juta token, dan output tetap ditagih penuh.

Apakah caching penting di paket unlimited?

Tidak untuk tagihan, karena sesi paket tidak punya meteran token. Namun di banyak sistem penyajian, caching tetap memperpendek waktu sampai token pertama pada prompt panjang, jadi kebiasaan yang sama tetap membantu.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity