BroadRouter

Token input cache (cached input tokens)

Diperbarui

Token input cache adalah token prompt yang baru saja diproses penyedia LLM dan bisa dipakai ulang dari cache alih-alih dihitung lagi, biasanya prefiks berulang seperti system prompt atau dokumen. Penyedia menagihnya dengan tarif lebih rendah daripada token input baru.

Disebut juga: input cache, token cache, prompt caching, cache hit, cached tokens, context caching, cache read tokens, cached input tokens

Sebagian besar yang dikirim agen sama di setiap giliran. Prompt caching memungkinkan penyedia melewati perhitungan ulang bagian yang berulang itu, dan menagihnya lebih murah.

Cara kerjanya

Saat model membaca prompt, model menghitung state internal untuk setiap token. Penyedia bisa menyimpan state itu untuk waktu singkat. Jika permintaan berikutnya dimulai dengan token yang sama, penyedia membaca state yang tersimpan alih-alih menghitungnya ulang. Token-token itulah token input cache.

Cache dicocokkan dari awal prompt. Panduan OpenAI menyebut pemakaian ulang “requires the entire rendered prefix to match” (terjemahan: mensyaratkan seluruh prefiks yang dirender cocok). Satu karakter yang berubah di awal prompt membuat semua yang ada sesudahnya menjadi input baru.

Penyedia berbeda dalam detailnya:

  • OpenAI mengaktifkan caching secara default pada model yang didukung dan melaporkan hit di blok usage. OpenAI mendokumentasikan prefiks minimum 1.024 token pada model-model barunya.
  • Anthropic menagih pembacaan cache sebesar 0,1 kali harga input dasar untuk sebagian besar model, menagih penulisan cache dengan harga lebih tinggi, dan menyimpan entri selama 5 menit secara default.

Dalam format Chat Completions, hit muncul sebagai usage.prompt_tokens_details.cached_tokens. Cache rate adalah angka itu dibagi prompt_tokens.

Kenapa ini penting

Untuk prompt panjang yang berulang, cache rate menentukan tagihan. Agen yang mengirim ulang repositori 200.000 token di setiap giliran membayar harga input penuh sekali dan harga cache sesudahnya, selama prefiksnya tetap stabil. Caching juga bisa mempersingkat waktu hingga token pertama pada prompt panjang, karena pekerjaan sebelum generasi dimulai lebih sedikit.

Untuk menaikkan rate-nya, letakkan konten yang stabil di depan (system prompt, definisi tool, dokumen) dan konten yang berubah di akhir. Jauhkan timestamp dan request ID dari bagian atas prompt, dan pertahankan urutan daftar tool. Berapa banyak harga penyedia yang dipublikasikan menyertakan harga input cache, serta diskon yang umum, ada di indeks harga API LLM.

Di BroadNet Inference

BroadNet memublikasikan harga input cache untuk tiga model chat, per 1 juta token:

Model Input baru Input cache
DeepSeek V4.1 Flash $0.175 $0.0055
GLM 5.3 $0.78 $0.173
Qwen3.8 27B $0.175 $0.0435

Token cache otomatis ditagih dengan harga yang lebih rendah, dan prompt_tokens_details.cached_tokens menampilkannya jika model melaporkannya. Saat streaming, minta usage dengan stream_options seperti yang ditunjukkan di panduan streaming.

Pada paket harga tetap tidak ada meteran token, jadi cache rate tidak mengubah tagihan. Penjelasan lengkapnya, dengan kode untuk mencatat rate Anda, ada di penjelasan token input cache.

Pertanyaan umum

Apakah token cache tetap dihitung dalam context window?

Ya. Caching mengubah berapa yang Anda bayar untuk token itu, bukan apakah token itu dihitung. Dokumentasi Anthropic menyatakannya secara langsung.

Berapa lama cache bertahan?

Tergantung penyedia. Masa berlaku default Anthropic adalah 5 menit, diperbarui setiap kali cache dipakai, dengan opsi masa berlaku 1 jam. Penyedia lain tidak selalu memublikasikan waktu yang pasti, jadi ukur hit rate Anda.

Apakah caching mengubah jawaban?

Tidak. Cache menyimpan pekerjaan yang dilakukan pada prompt, bukan balasannya. Model tetap menghasilkan jawaban baru.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity