BroadRouter
Mulakan

Bila tetingkap konteks 1M token berbaloi (dan bila tidak)

Oleh pasukan BroadNet Inference · 4 minit bacaan · Diterbitkan

Tetingkap konteks 1M token membolehkan satu permintaan memuatkan keseluruhan pangkalan kod, satu set kontrak atau berjam-jam transkrip, jadi model melihat segala-galanya serentak dan bukannya serpihan yang didapatkan semula. Ia berbaloi untuk penaakulan merentas fail dan analisis sekali sahaja; untuk carian berulang dalam korpus yang besar dan berubah, pendapatan semula lebih murah. DeepSeek V4.1 Flash dan GLM 5.3 menerima 1,048,576 token.

Light shining through towering cliffs made of stacked paper pages.

Tetingkap konteks telah berkembang daripada beberapa ribu token kepada lebih sejuta. DeepSeek V4.1 Flash dan GLM 5.3 di BroadNet Inference menerima 1,048,576 token setiap permintaan, prompt dan jawapan bersama. Ini mengubah cara anda boleh membina, tetapi ia tidak menjadikan setiap prompt lebih baik.

Apakah yang muat dalam sejuta token?

Sebagai panduan kasar: 1,000 perkataan prosa Inggeris menjadi kira-kira 1,290 token, purata merentas lima tokenizer, dalam set data kecekapan tokenizer kami, jadi sejuta token ialah lebih kurang 810,000 perkataan prosa biasa:

Kandungan Lebih kurang
Pangkalan kod bersaiz sederhana (puluhan ribu baris) Muat, dengan ruang berlebihan
Beberapa kontrak panjang dengan jadual Muat
Transkrip mesyuarat sehari Muat
Monorepo besar dengan kebergantungan Selalunya tidak; pilih direktori

Kiraan token bergantung pada bahasa dan kandungan. Kod dan teks Arab selalunya menggunakan lebih banyak token setiap aksara berbanding prosa Inggeris. Ukur dengan blok usage pada permintaan sebenar dan bukannya menganggar, atau semak sampel dalam kalkulator tetingkap konteks.

Model BroadNet manakah yang mempunyai tetingkap konteks 1M token?

Model Tetingkap konteks Input Output Imej
DeepSeek V4.1 Flash 1,048,576 $0.175 $0.52 Ya
GLM 5.3 1,048,576 $0.78 $3.46 Tidak
Qwen3.8 27B 262,144 $0.175 $2.17 Ya
BroadNet Gemma 4 VL 26B 32,768 $0.10 $0.22 Ya

Harga adalah setiap 1M token. GLM 5.3 menambah panggilan alat dan output berstruktur pada tetingkap 1M yang sama.

Bilakah tetingkap 1M token berbaloi?

  • Penaakulan merentas fail. “Mengapakah ujian ini gagal?” selalunya bergantung pada lima fail yang tiada siapa terfikir untuk didapatkan semula bersama.
  • Semakan keseluruhan dokumen. Mencari percanggahan antara klausa 4 dan jadual B memerlukan kedua-duanya kelihatan.
  • Analisis sekali sahaja. Untuk soalan yang hanya akan anda tanya sekali, membina indeks pendapatan semula memerlukan usaha lebih banyak daripada yang dijimatkan.
  • Ejen. Sub-ejen yang boleh membaca keseluruhan modul membuat lebih sedikit tekaan salah. Lihat menjalankan ejen selari.

Bilakah pendapatan semula masih pilihan lebih baik?

Pendapatan semula menang untuk banyak carian kecil dalam perpustakaan yang jauh lebih besar daripada mana-mana tetingkap, untuk kandungan yang berubah setiap minit, dan untuk jawapan interaktif yang pantas di mana membaca prompt yang sangat besar dahulu menambah kelewatan. Banyak sistem produksi melakukan kedua-duanya: dapatkan semula 200,000 token yang paling relevan, kemudian biarkan model konteks panjang membuat penaakulan merentas kesemuanya. Keputusan penuh, dengan kos setiap pertanyaan, kependaman dan recall sebelah-menyebelah, ada dalam konteks panjang vs RAG.

Adakah model benar-benar menggunakan keseluruhan tetingkap?

Tidak secara sekata. Kajian konsisten dalam hal ini:

  • Kertas Lost in the Middle (Liu et al.) mendapati prestasi “is often highest when relevant information occurs at the beginning or end of the input context” (Terjemahan: selalunya tertinggi apabila maklumat relevan berada di awal atau akhir konteks input).
  • Laporan Context Rot oleh Chroma menguji 18 model dan mendapati “performance grows increasingly unreliable as input length grows” (Terjemahan: prestasi menjadi semakin tidak boleh dipercayai apabila panjang input bertambah), walaupun pada tugasan mudah.

Kajian ini tidak menguji model di BroadNet, jadi anggap ia sebagai amaran, bukan ukuran. Peraturan praktikalnya: tetingkap yang menerima sejuta token tidak bermakna setiap token mendapat perhatian yang sama. Letakkan bahan paling penting berhampiran awal atau akhir, dan uji recall pada dokumen anda sendiri.

Berapakah kos prompt sejuta token?

Pada kunci bayar ikut guna, DeepSeek V4.1 Flash mengebilkan $0.175 setiap 1M token input dan $0.0055 setiap 1M token input cache. Prompt sejuta token penuh berharga kira-kira $0.175 kali pertama, dan jauh lebih rendah pada panggilan berulang apabila prefix dicache. Lihat cara menaikkan kadar cache anda.

Kalkulator prompt caching menunjukkan berapa banyak cache hit menjimatkan pada saiz prompt anda sendiri. Contoh kiraan: sepuluh soalan tentang set kontrak 800,000 token yang sama. Tanpa cache, itu 8M token pada $0.175 setiap 1M. Jika dokumen diletakkan dahulu dan kekal sama, panggilan pertama membaca 800,000 token baharu dan sembilan panggilan seterusnya boleh membaca kebanyakannya daripada cache pada $0.0055 setiap 1M. Hanya soalan dan jawapan yang berubah.

Pada pelan tanpa had, saiz prompt tidak mengubah bil: Full Moon ialah $60 sebulan setiap sesi tanpa meter token. Itulah sebabnya ejen konteks panjang menjadi sebab biasa untuk memilih pelan kadar tetap berbanding pengebilan setiap token.

Berapa banyak ruang yang patut ditinggalkan untuk jawapan?

Tetingkap merangkumi prompt dan output, dan pada model penaakulan, output termasuk proses berfikir. Jika anda menghantar prompt 1,040,000 token, hanya kira-kira 8,000 yang tinggal untuk penaakulan dan jawapan. Kekalkan margin, tetapkan max_tokens secara eksplisit, dan baca mengapa model penaakulan boleh memulangkan jawapan kosong.

Cara menyediakan pangkalan kod untuk prompt 1M token

  1. Kecualikan apa yang tidak diperlukan oleh model. Fail kunci (lock files), output binaan, kebergantungan vendor, imej dan kod yang dijana menggunakan token dan menambah hingar.
  2. Kira sebelum menghantar. Hantar sampel kecil, baca prompt_tokens daripada usage, dan skalakan.
  3. Susun mengikut kestabilan. Fail yang jarang berubah dahulu, fail yang sedang disunting kemudian, soalan di hujung sekali. Itu memastikan prefix boleh dicache.
  4. Labelkan setiap fail. Balut fail dengan penanda yang jelas seperti === path/to/file.py === supaya model boleh memetiknya.
  5. Minta petikan. “Quote the line you rely on” (Terjemahan: petik baris yang anda jadikan sandaran) mengurangkan kesilapan yakin pada input yang sangat besar.
  6. Ukur. Log token prompt, token cache dan time to first token bagi setiap permintaan. Penstriman menunjukkan token pertama sebaik ia tiba.

Di manakah BroadNet Inference sesuai

Dua daripada model chatnya menerima 1,048,576 token setiap permintaan, dan BroadNet tidak memangkas konteks anda. Pada kunci setiap token, cache memastikan prompt panjang yang berulang kekal mampu milik; pada sesi pelan, saiz prompt tidak menjejaskan bil. Jika korpus anda jauh lebih besar daripada sejuta token atau berubah setiap minit, anda masih memerlukan pendapatan semula, dan tiada saiz tetingkap yang mengubahnya.

Soalan lazim

Adakah BroadNet memangkas prompt yang panjang?

Tidak. BroadNet tidak memangkas konteks anda. Jika prompt ditambah max_tokens melebihi tetingkap model, pendekkan prompt dan bukannya bergantung pada pemotongan senyap.

Berapa banyak perkataan dalam 1 juta token?

Bergantung pada bahasa dan kandungan. Prosa Inggeris berukuran kira-kira 129 token setiap 100 perkataan dalam set data tokenizer BroadRouter (1,000 perkataan menjadi kira-kira 1,290 token, purata merentas lima tokenizer), jadi 1,048,576 token memuatkan lebih kurang 810,000 perkataan, jauh melebihi seribu halaman. Teks teknikal, kod dan bahasa Arab memerlukan lebih banyak token, jadi kira kandungan sebenar anda.

Adakah permintaan 1M token perlahan?

Ia mengambil masa lebih lama untuk bermula berbanding permintaan pendek, kerana model mesti membaca keseluruhan prompt dahulu. Prefix yang dicache biasanya membantu pada panggilan berulang. Ukur time to first token pada prompt anda sendiri.

Adakah LLM benar-benar menggunakan keseluruhan tetingkap konteks?

Tidak secara sekata. Kertas Lost in the Middle mendapati ketepatan selalunya tertinggi apabila maklumat relevan berada di awal atau akhir input, dan laporan Context Rot oleh Chroma mendapati kebolehpercayaan menurun apabila panjang input bertambah. Letakkan bahan utama di tepi dan uji pada data anda sendiri.

Patutkah saya berhenti menggunakan RAG?

Tidak semestinya. Gunakan konteks panjang apabila model perlu melihat segala-galanya bersama, dan pendapatan semula apabila ia memerlukan beberapa fakta daripada perpustakaan yang sangat besar. Banyak sistem menggabungkan kedua-duanya.

Apakah yang berlaku jika prompt saya lebih besar daripada tetingkap konteks?

BroadNet tidak memangkasnya untuk anda, jadi permintaan tidak akan berjalan seperti yang dimaksudkan. Buang fail, ringkaskan giliran lama, atau dapatkan semula bahagian yang relevan sahaja sebelum menghantar.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity