Lumaki ang mga context window mula ilang libong token hanggang lampas isang milyon. Tumatanggap ang DeepSeek V4.1 Flash at GLM 5.3 sa BroadNet Inference ng 1,048,576 token kada request, prompt at sagot na magkasama. Binabago nito ang paraan ng pagbuo mo, pero hindi nito pinagaganda ang bawat prompt.
Ano ang kasya sa isang milyong token?
Bilang magaspang na gabay: mga 1,290 token ang 1,000 salita ng English na prose, average sa limang tokenizer, sa aming tokenizer efficiency dataset, kaya humigit-kumulang 810,000 salita ng simpleng prose ang isang milyong token:
| Content | Humigit-kumulang |
|---|---|
| Katamtamang laking codebase (sampu-sampung libong linya) | Kasya, may sobra pang puwang |
| Ilang mahahabang kontrata na may mga schedule | Kasya |
| Isang araw ng transcript ng meeting | Kasya |
| Malaking monorepo na may dependencies | Madalas hindi; pumili ng mga directory |
Nakadepende sa wika at content ang bilang ng token. Madalas mas maraming token kada character ang code at Arabic na text kaysa sa English na prose. Sukatin gamit ang usage block sa isang totoong request sa halip na magtantiya, o i-check ang isang sample sa context window calculator.
Aling mga model ng BroadNet ang may 1M-token na context window?
| Model | Context window | Input | Output | Larawan |
|---|---|---|---|---|
| DeepSeek V4.1 Flash | 1,048,576 | $0.175 | $0.52 | Oo |
| GLM 5.3 | 1,048,576 | $0.78 | $3.46 | Hindi |
| Qwen3.8 27B | 262,144 | $0.175 | $2.17 | Oo |
| BroadNet Gemma 4 VL 26B | 32,768 | $0.10 | $0.22 | Oo |
Kada 1M token ang mga presyo. May tool calling at structured output ang GLM 5.3 sa parehong 1M na window.
Kailan sulit ang 1M-token na window?
- Reasoning na tumatawid sa maraming file. Ang “Bakit pumapalya ang test na ito?” ay madalas nakadepende sa limang file na walang makakaisip na i-retrieve nang magkakasama.
- Review ng buong dokumento. Para mahanap ang salungatan ng clause 4 at schedule B, kailangang parehong nakikita ang dalawa.
- Minsanang analysis. Para sa tanong na isang beses mo lang itatanong, mas malaki ang pagod sa paggawa ng retrieval index kaysa sa natitipid nito.
- Mga agent. Mas kaunti ang maling hula ng sub-agent na nababasa ang buong module. Tingnan ang pagpapatakbo ng parallel na agent.
Kailan mas mainam pa rin ang retrieval?
Panalo ang retrieval sa maraming maliliit na lookup sa library na mas malaki kaysa sa anumang window, sa content na nagbabago bawat minuto, at sa mabibilis na interactive na sagot kung saan nagdadagdag ng delay ang pagbasa muna ng napakalaking prompt. Pareho ang ginagawa ng maraming production system: i-retrieve ang pinaka-relevant na 200,000 token, saka hayaang mag-reason ang long-context na model sa lahat ng iyon. Nasa long context vs RAG ang buong desisyon, na magkatabi ang gastos kada query, latency at recall.
Talaga bang ginagamit ng model ang buong window?
Hindi pantay. Consistent ang pananaliksik dito:
- Natuklasan ng papel na Lost in the Middle (Liu et al.) na ang performance ay “is often highest when relevant information occurs at the beginning or end of the input context” (salin: madalas pinakamataas kapag nasa simula o dulo ng input context ang relevant na impormasyon).
- Sinubukan ng ulat na Context Rot ng Chroma ang 18 model at natuklasang “performance grows increasingly unreliable as input length grows” (salin: lalong nagiging hindi maaasahan ang performance habang humahaba ang input), kahit sa mga simpleng gawain.
Hindi sinubukan ng mga pag-aaral na ito ang mga model sa BroadNet, kaya ituring ang mga ito bilang babala, hindi sukat. Ang praktikal na patakaran: ang window na tumatanggap ng isang milyong token ay hindi nangangahulugang pantay ang atensiyon sa bawat token. Ilagay ang pinakamahalagang materyal malapit sa simula o dulo, at i-test ang recall sa sarili mong mga dokumento.
Magkano ang isang milyong-token na prompt?
Sa isang pay-as-you-go key, $0.175 kada 1M input token at $0.0055 kada 1M cached input token ang singil ng DeepSeek V4.1 Flash. Mga $0.175 ang buong isang milyong-token na prompt sa unang pagkakataon, at mas mababa nang malaki sa mga paulit-ulit na call kapag naka-cache ang prefix. Tingnan ang paano pataasin ang cache rate mo.
Ipinapakita ng prompt caching calculator kung magkano ang natitipid ng cache hit sa sarili mong laki ng prompt. Isang halimbawa: sampung tanong tungkol sa iisang set ng kontrata na 800,000 token. Kung walang caching, 8M token iyon sa $0.175 kada 1M. Kung nauuna ang mga dokumento at nananatiling pareho, 800,000 bagong token ang binabasa ng unang call at mababasa ng susunod na siyam ang karamihan ng mga iyon mula sa cache sa $0.0055 kada 1M. Ang tanong at ang sagot lang ang nagbabago.
Sa unlimited na plan, hindi binabago ng laki ng prompt ang bill: $60 kada buwan kada session ang Full Moon na walang token meter. Iyan ang dahilan kung bakit karaniwang dahilan ang mga long-context na agent para pumili ng flat na plan sa halip na per-token na billing.
Gaano kalaking puwang ang dapat iwan para sa sagot?
Sakop ng window ang prompt at output, at sa mga reasoning model, kasama sa output ang pag-iisip. Kung magpapadala ka ng 1,040,000 token na prompt, mga 8,000 na lang ang natitira para sa reasoning at sagot. Mag-iwan ng margin, itakda nang tahasan ang max_tokens, at basahin ang kung bakit puwedeng walang laman ang sagot ng mga reasoning model.
Paano ihanda ang codebase para sa 1M-token na prompt
- Huwag isama ang hindi kailangan ng model. Kumakain ng token at nagdadagdag ng ingay ang lock files, build output, vendored dependencies, mga larawan at generated code.
- Magbilang bago magpadala. Magpadala ng maliit na sample, basahin ang
prompt_tokensmula sa usage, at i-scale up. - Ayusin ayon sa pagiging stable. Mauna ang mga bihirang nababagong file, huli ang mga file na ine-edit, at nasa pinakadulo ang tanong. Napapanatili nitong cacheable ang prefix.
- Lagyan ng label ang bawat file. Ibalot ang mga file sa malinaw na marker gaya ng
=== path/to/file.py ===para ma-cite ng model ang mga ito. - Humingi ng citation. Binabawasan ng “Quote the line you rely on” (salin: i-quote ang linyang pinagbabatayan mo) ang mga kumpiyansang pagkakamali sa napakalalaking input.
- Sukatin. I-log ang prompt token, cached token at time to first token kada request. Ipinapakita ng streaming ang unang token sa sandaling dumating ito.
Saan bagay ang BroadNet Inference
Dalawa sa mga chat model nito ang tumatanggap ng 1,048,576 token kada request, at hindi binabawasan ng BroadNet ang context mo. Sa per-token na key, pinapanatiling abot-kaya ng caching ang paulit-ulit na mahahabang prompt; sa plan session, hindi nakakaapekto sa bill ang laki ng prompt. Kung mas malaki nang husto ang corpus mo kaysa sa isang milyong token o nagbabago ito bawat minuto, kailangan mo pa rin ng retrieval, at walang laki ng window na magbabago niyon.

