Context window sudah berkembang dari beberapa ribu token menjadi lebih dari sejuta. DeepSeek V4.1 Flash dan GLM 5.3 di BroadNet Inference menerima 1.048.576 token per permintaan, prompt dan jawaban digabung. Ini mengubah cara Anda membangun aplikasi, tetapi tidak membuat setiap prompt menjadi lebih baik.
Apa saja yang muat dalam sejuta token?
Sebagai patokan kasar: 1.000 kata prosa bahasa Inggris menjadi sekitar 1,290 token, dirata-rata dari lima tokenizer, di dataset efisiensi tokenizer kami, jadi sejuta token kira-kira setara 810,000 kata prosa biasa:
| Konten | Kira-kira |
|---|---|
| Codebase ukuran menengah (puluhan ribu baris) | Muat, masih ada sisa ruang |
| Beberapa kontrak panjang beserta lampirannya | Muat |
| Transkrip rapat selama sehari | Muat |
| Monorepo besar beserta dependensinya | Sering tidak muat; pilih direktori |
Jumlah token tergantung bahasa dan konten. Kode dan teks bahasa Arab sering memakai lebih banyak token per karakter daripada prosa bahasa Inggris. Ukur dengan blok usage pada permintaan nyata alih-alih memperkirakan, atau cek sampelnya di kalkulator context window.
Model BroadNet mana yang punya context window 1M token?
| Model | Context window | Input | Output | Gambar |
|---|---|---|---|---|
| DeepSeek V4.1 Flash | 1.048.576 | $0.175 | $0.52 | Ya |
| GLM 5.3 | 1.048.576 | $0.78 | $3.46 | Tidak |
| Qwen3.8 27B | 262.144 | $0.175 | $2.17 | Ya |
| BroadNet Gemma 4 VL 26B | 32.768 | $0.10 | $0.22 | Ya |
Harga per 1M token. GLM 5.3 menambahkan tool calling dan output terstruktur pada window 1M yang sama.
Kapan window 1M token sepadan?
- Penalaran lintas file. “Kenapa test ini gagal?” sering bergantung pada lima file yang tidak akan terpikir untuk diambil bersamaan.
- Review dokumen utuh. Menemukan pertentangan antara pasal 4 dan lampiran B butuh keduanya terlihat.
- Analisis sekali jalan. Untuk pertanyaan yang hanya akan Anda ajukan sekali, membangun indeks retrieval lebih merepotkan daripada manfaatnya.
- Agen. Sub-agen yang bisa membaca seluruh modul lebih jarang menebak keliru. Lihat menjalankan agen paralel.
Kapan retrieval tetap pilihan yang lebih baik?
Retrieval unggul untuk banyak pencarian kecil di pustaka yang jauh lebih besar dari window mana pun, untuk konten yang berubah setiap menit, dan untuk jawaban interaktif cepat ketika membaca prompt raksasa terlebih dahulu menambah jeda. Banyak sistem produksi melakukan keduanya: mengambil 200.000 token paling relevan, lalu membiarkan model long context bernalar atas semuanya. Keputusan lengkapnya, dengan biaya per query, latensi, dan recall berdampingan, ada di long context vs RAG.
Apakah model benar-benar memakai seluruh window?
Tidak merata. Riset konsisten dalam hal ini:
- Makalah Lost in the Middle (Liu dkk.) menemukan bahwa performa “is often highest when relevant information occurs at the beginning or end of the input context” (Terjemahan BroadRouter: sering kali tertinggi saat informasi relevan berada di awal atau akhir konteks input).
- Laporan Context Rot dari Chroma menguji 18 model dan menemukan bahwa “performance grows increasingly unreliable as input length grows” (Terjemahan BroadRouter: performa makin tidak andal seiring panjang input bertambah), bahkan pada tugas sederhana.
Studi-studi ini tidak menguji model di BroadNet, jadi anggap sebagai peringatan, bukan hasil pengukuran. Aturan praktisnya: window yang menerima sejuta token tidak berarti setiap token mendapat perhatian yang sama. Letakkan materi paling penting di dekat awal atau akhir, dan uji recall dengan dokumen Anda sendiri.
Berapa biaya prompt sejuta token?
Dengan kunci bayar sesuai pemakaian, DeepSeek V4.1 Flash menagih $0.175 per 1M token input dan $0.0055 per 1M token input cache. Prompt penuh sejuta token biayanya sekitar $0.175 pada kali pertama, dan jauh lebih murah pada panggilan berulang saat prefiksnya di-cache. Cara menaikkan cache rate Anda.
Kalkulator prompt caching menunjukkan berapa yang dihemat cache hit pada ukuran prompt Anda sendiri. Contoh perhitungan: sepuluh pertanyaan tentang satu set kontrak 800.000 token yang sama. Tanpa caching, itu 8M token dengan harga $0.175 per 1M. Jika dokumennya diletakkan di awal dan tetap identik, panggilan pertama membaca 800.000 token baru dan sembilan panggilan berikutnya bisa membaca sebagian besarnya dari cache dengan harga $0.0055 per 1M. Hanya pertanyaan dan jawaban yang berubah.
Di paket unlimited, ukuran prompt tidak mengubah tagihan: Full Moon seharga $60 per bulan per sesi tanpa meteran token. Itulah sebabnya agen long context sering menjadi alasan memilih paket harga tetap dibanding penagihan per token.
Berapa ruang yang perlu disisakan untuk jawaban?
Window mencakup prompt dan output, dan pada model penalaran output-nya termasuk proses berpikir. Jika Anda mengirim prompt 1.040.000 token, hanya tersisa sekitar 8.000 untuk penalaran dan jawaban. Sisakan margin, set max_tokens secara eksplisit, dan baca kenapa model penalaran bisa mengembalikan jawaban kosong.
Cara menyiapkan codebase untuk prompt 1M token
- Keluarkan yang tidak dibutuhkan model. Lock file, hasil build, dependensi yang di-vendor, gambar, dan kode hasil generate memakan token dan menambah noise.
- Hitung sebelum mengirim. Kirim sampel kecil, baca
prompt_tokensdari usage, lalu perbesar skalanya. - Urutkan berdasarkan stabilitas. File yang jarang berubah di depan, file yang sedang diedit di belakang, pertanyaan paling akhir. Ini menjaga prefiks tetap bisa di-cache.
- Beri label setiap file. Bungkus file dengan penanda yang jelas seperti
=== path/to/file.py ===agar model bisa mengutipnya. - Minta sitasi. “Kutip baris yang menjadi dasar jawabanmu” mengurangi kesalahan yang disampaikan dengan yakin pada input raksasa.
- Ukur. Catat token prompt, token cache, dan time to first token per permintaan. Streaming menampilkan token pertama begitu tiba.
Posisi BroadNet Inference
Dua model chat-nya menerima 1.048.576 token per permintaan, dan BroadNet tidak memangkas konteks Anda. Dengan kunci per token, caching membuat prompt panjang yang berulang tetap terjangkau; di sesi paket, ukuran prompt tidak memengaruhi tagihan. Jika korpus Anda jauh lebih besar dari sejuta token atau berubah setiap menit, Anda tetap butuh retrieval, dan ukuran window berapa pun tidak mengubah hal itu.

