BroadRouter
Mulai

Kapan context window 1M token sepadan (dan kapan tidak)

Oleh tim BroadNet Inference · 4 menit baca · Dipublikasikan

Context window 1M token memungkinkan satu permintaan memuat seluruh codebase, satu set kontrak, atau transkrip berjam-jam, sehingga model melihat semuanya sekaligus, bukan potongan hasil retrieval. Ini sepadan untuk penalaran lintas file dan analisis sekali jalan; untuk pencarian berulang di korpus besar yang terus berubah, retrieval lebih murah. DeepSeek V4.1 Flash dan GLM 5.3 menerima 1.048.576 token.

Light shining through towering cliffs made of stacked paper pages.

Context window sudah berkembang dari beberapa ribu token menjadi lebih dari sejuta. DeepSeek V4.1 Flash dan GLM 5.3 di BroadNet Inference menerima 1.048.576 token per permintaan, prompt dan jawaban digabung. Ini mengubah cara Anda membangun aplikasi, tetapi tidak membuat setiap prompt menjadi lebih baik.

Apa saja yang muat dalam sejuta token?

Sebagai patokan kasar: 1.000 kata prosa bahasa Inggris menjadi sekitar 1,290 token, dirata-rata dari lima tokenizer, di dataset efisiensi tokenizer kami, jadi sejuta token kira-kira setara 810,000 kata prosa biasa:

Konten Kira-kira
Codebase ukuran menengah (puluhan ribu baris) Muat, masih ada sisa ruang
Beberapa kontrak panjang beserta lampirannya Muat
Transkrip rapat selama sehari Muat
Monorepo besar beserta dependensinya Sering tidak muat; pilih direktori

Jumlah token tergantung bahasa dan konten. Kode dan teks bahasa Arab sering memakai lebih banyak token per karakter daripada prosa bahasa Inggris. Ukur dengan blok usage pada permintaan nyata alih-alih memperkirakan, atau cek sampelnya di kalkulator context window.

Model BroadNet mana yang punya context window 1M token?

Model Context window Input Output Gambar
DeepSeek V4.1 Flash 1.048.576 $0.175 $0.52 Ya
GLM 5.3 1.048.576 $0.78 $3.46 Tidak
Qwen3.8 27B 262.144 $0.175 $2.17 Ya
BroadNet Gemma 4 VL 26B 32.768 $0.10 $0.22 Ya

Harga per 1M token. GLM 5.3 menambahkan tool calling dan output terstruktur pada window 1M yang sama.

Kapan window 1M token sepadan?

  • Penalaran lintas file. “Kenapa test ini gagal?” sering bergantung pada lima file yang tidak akan terpikir untuk diambil bersamaan.
  • Review dokumen utuh. Menemukan pertentangan antara pasal 4 dan lampiran B butuh keduanya terlihat.
  • Analisis sekali jalan. Untuk pertanyaan yang hanya akan Anda ajukan sekali, membangun indeks retrieval lebih merepotkan daripada manfaatnya.
  • Agen. Sub-agen yang bisa membaca seluruh modul lebih jarang menebak keliru. Lihat menjalankan agen paralel.

Kapan retrieval tetap pilihan yang lebih baik?

Retrieval unggul untuk banyak pencarian kecil di pustaka yang jauh lebih besar dari window mana pun, untuk konten yang berubah setiap menit, dan untuk jawaban interaktif cepat ketika membaca prompt raksasa terlebih dahulu menambah jeda. Banyak sistem produksi melakukan keduanya: mengambil 200.000 token paling relevan, lalu membiarkan model long context bernalar atas semuanya. Keputusan lengkapnya, dengan biaya per query, latensi, dan recall berdampingan, ada di long context vs RAG.

Apakah model benar-benar memakai seluruh window?

Tidak merata. Riset konsisten dalam hal ini:

  • Makalah Lost in the Middle (Liu dkk.) menemukan bahwa performa “is often highest when relevant information occurs at the beginning or end of the input context” (Terjemahan BroadRouter: sering kali tertinggi saat informasi relevan berada di awal atau akhir konteks input).
  • Laporan Context Rot dari Chroma menguji 18 model dan menemukan bahwa “performance grows increasingly unreliable as input length grows” (Terjemahan BroadRouter: performa makin tidak andal seiring panjang input bertambah), bahkan pada tugas sederhana.

Studi-studi ini tidak menguji model di BroadNet, jadi anggap sebagai peringatan, bukan hasil pengukuran. Aturan praktisnya: window yang menerima sejuta token tidak berarti setiap token mendapat perhatian yang sama. Letakkan materi paling penting di dekat awal atau akhir, dan uji recall dengan dokumen Anda sendiri.

Berapa biaya prompt sejuta token?

Dengan kunci bayar sesuai pemakaian, DeepSeek V4.1 Flash menagih $0.175 per 1M token input dan $0.0055 per 1M token input cache. Prompt penuh sejuta token biayanya sekitar $0.175 pada kali pertama, dan jauh lebih murah pada panggilan berulang saat prefiksnya di-cache. Cara menaikkan cache rate Anda.

Kalkulator prompt caching menunjukkan berapa yang dihemat cache hit pada ukuran prompt Anda sendiri. Contoh perhitungan: sepuluh pertanyaan tentang satu set kontrak 800.000 token yang sama. Tanpa caching, itu 8M token dengan harga $0.175 per 1M. Jika dokumennya diletakkan di awal dan tetap identik, panggilan pertama membaca 800.000 token baru dan sembilan panggilan berikutnya bisa membaca sebagian besarnya dari cache dengan harga $0.0055 per 1M. Hanya pertanyaan dan jawaban yang berubah.

Di paket unlimited, ukuran prompt tidak mengubah tagihan: Full Moon seharga $60 per bulan per sesi tanpa meteran token. Itulah sebabnya agen long context sering menjadi alasan memilih paket harga tetap dibanding penagihan per token.

Berapa ruang yang perlu disisakan untuk jawaban?

Window mencakup prompt dan output, dan pada model penalaran output-nya termasuk proses berpikir. Jika Anda mengirim prompt 1.040.000 token, hanya tersisa sekitar 8.000 untuk penalaran dan jawaban. Sisakan margin, set max_tokens secara eksplisit, dan baca kenapa model penalaran bisa mengembalikan jawaban kosong.

Cara menyiapkan codebase untuk prompt 1M token

  1. Keluarkan yang tidak dibutuhkan model. Lock file, hasil build, dependensi yang di-vendor, gambar, dan kode hasil generate memakan token dan menambah noise.
  2. Hitung sebelum mengirim. Kirim sampel kecil, baca prompt_tokens dari usage, lalu perbesar skalanya.
  3. Urutkan berdasarkan stabilitas. File yang jarang berubah di depan, file yang sedang diedit di belakang, pertanyaan paling akhir. Ini menjaga prefiks tetap bisa di-cache.
  4. Beri label setiap file. Bungkus file dengan penanda yang jelas seperti === path/to/file.py === agar model bisa mengutipnya.
  5. Minta sitasi. “Kutip baris yang menjadi dasar jawabanmu” mengurangi kesalahan yang disampaikan dengan yakin pada input raksasa.
  6. Ukur. Catat token prompt, token cache, dan time to first token per permintaan. Streaming menampilkan token pertama begitu tiba.

Posisi BroadNet Inference

Dua model chat-nya menerima 1.048.576 token per permintaan, dan BroadNet tidak memangkas konteks Anda. Dengan kunci per token, caching membuat prompt panjang yang berulang tetap terjangkau; di sesi paket, ukuran prompt tidak memengaruhi tagihan. Jika korpus Anda jauh lebih besar dari sejuta token atau berubah setiap menit, Anda tetap butuh retrieval, dan ukuran window berapa pun tidak mengubah hal itu.

Pertanyaan umum

Apakah BroadNet memangkas prompt yang panjang?

Tidak. BroadNet tidak memangkas konteks Anda. Jika prompt ditambah max_tokens melebihi window model, perpendek prompt-nya alih-alih mengandalkan pemotongan diam-diam.

1 juta token itu berapa kata?

Tergantung bahasa dan kontennya. Prosa bahasa Inggris terukur sekitar 129 token per 100 kata di dataset tokenizer BroadRouter (1.000 kata menjadi sekitar 1,290 token, dirata-rata dari lima tokenizer), jadi 1.048.576 token memuat kira-kira 810,000 kata, jauh lebih dari seribu halaman. Teks teknis, kode, dan bahasa Arab butuh lebih banyak token, jadi hitung konten Anda yang sebenarnya.

Apakah permintaan 1M token lambat?

Waktu mulainya lebih lama daripada permintaan pendek, karena model harus membaca seluruh prompt dulu. Prefiks yang di-cache biasanya membantu pada panggilan berulang. Ukur time to first token dengan prompt Anda sendiri.

Apakah LLM benar-benar memakai seluruh context window?

Tidak merata. Makalah Lost in the Middle menemukan akurasi sering tertinggi saat informasi relevan berada di awal atau akhir input, dan laporan Context Rot dari Chroma menemukan keandalan turun seiring panjang input bertambah. Letakkan materi kunci di tepi dan uji dengan data Anda sendiri.

Haruskah saya berhenti memakai RAG?

Belum tentu. Pakai long context saat model perlu melihat semuanya bersama-sama, dan retrieval saat model butuh beberapa fakta dari pustaka yang sangat besar. Banyak sistem menggabungkan keduanya.

Apa yang terjadi jika prompt saya lebih besar dari context window?

BroadNet tidak memangkasnya untuk Anda, jadi permintaannya tidak akan berjalan sesuai harapan. Buang beberapa file, ringkas giliran lama, atau ambil hanya bagian yang relevan sebelum mengirim.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity