BroadRouter

Token input dan output

Diperbarui

Token input adalah token yang dibaca model bahasa dalam sebuah permintaan, termasuk system prompt, riwayat percakapan, definisi tool, dan gambar. Token output adalah token yang dihasilkannya sebagai balasan, termasuk penalaran. API LLM biasanya menghargainya secara terpisah, dan output biasanya lebih mahal.

Disebut juga: token input, token output, token prompt, token completion, input tokens, output tokens, prompt tokens, completion tokens

Setiap permintaan LLM punya dua sisi: yang Anda kirim dan yang kembali. API menghitung keduanya dalam token, dan sebagian besar menagihnya dengan tarif berbeda.

Cara kerjanya

Input adalah semua yang ada di permintaan: system prompt, setiap pesan sebelumnya, definisi tool, hasil tool, dokumen, dan gambar. Chat multi-giliran mengirim ulang seluruh riwayat di setiap giliran, sehingga input bertambah seiring percakapan.

Output adalah semua yang dihasilkan model: jawaban yang terlihat, pemanggilan tool, dan pada model penalaran, token penalaran yang tersembunyi.

Blok usage melaporkan keduanya:

"usage": {
  "prompt_tokens": 18000,
  "completion_tokens": 900,
  "prompt_tokens_details": { "cached_tokens": 15000 },
  "completion_tokens_details": { "reasoning_tokens": 600 }
}

Biaya satu permintaan adalah:

(new input × input price) + (cached input × cached price) + (output × output price), yaitu (input baru × harga input) + (input cache × harga cache) + (output × harga output), dengan setiap harga per 1 juta token.

Kenapa ini penting

Rasio keduanya menentukan harga mana yang berpengaruh. Asisten chat mungkin menghasilkan beberapa ratus token untuk pertanyaan singkat. Agen coding mengirim ulang konteks repositori yang besar di setiap giliran dan menulis patch pendek, sehingga input bisa melebihi output dengan rasio 20 banding 1 atau lebih. Untuk agen, harga input dan harga input cache menentukan sebagian besar tagihan.

Output tetap perlu diperhatikan. Model penalaran bisa menghabiskan lebih banyak token untuk berpikir daripada menjawab, dan token itu ditagih sebagai output. Rasio harga output terhadap input yang umum di model-model yang kami pantau ada di indeks harga API LLM.

Di BroadNet Inference

Per 1 juta token, dari file harga yang dipublikasikan:

Model Input Input cache Output
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
GLM 5.3 $0.78 $0.173 $3.46
Qwen3.8 27B $0.175 $0.0435 $2.17
BroadNet Gemma 4 VL 26B $0.10 — $0.22

Dalam contoh perhitungan BroadNet, agen coding penuh waktu mengirim 1.000 juta token input per bulan dengan 80% cache hit dan menerima 50 juta token output. Dengan DeepSeek V4.1 Flash per token, biayanya $65.40. Paket harga tetap menghapus meterannya: Full Moon seharga $60 per bulan per sesi. Bandingkan angka Anda sendiri di kalkulator harga atau baca harga tetap vs bayar per token.

Kesalahan umum

  • Hanya menghitung harga jawaban yang terlihat dan melupakan token penalaran.
  • Mengabaikan seberapa cepat riwayat bertambah. Giliran ke-30 sebuah chat bisa membawa input dari 30 giliran.

Pertanyaan umum

Apa bedanya token prompt dan token input?

Tidak ada. Format Chat Completions menyebutnya prompt_tokens dan completion_tokens. API yang lebih baru, seperti Responses API dari OpenAI dan Messages API dari Anthropic, menyebutnya input_tokens dan output_tokens.

Kenapa output lebih mahal daripada input?

Model membaca seluruh prompt dalam satu proses paralel, tetapi menghasilkan output satu token demi satu token, sehingga setiap token output memakan lebih banyak waktu GPU.

Apakah definisi tool ikut ditagih?

Ya. Skema tool dan hasil tool adalah bagian dari prompt, jadi keduanya dihitung sebagai token input di setiap permintaan yang menyertakannya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity