BroadRouter

Kailan sulit ang 1M-token na context window (at kailan hindi)

Ng BroadNet Inference team · 4 minutong basa · Nailathala

Sa 1M-token na context window, kasya sa iisang request ang buong codebase, isang set ng kontrata o ilang oras ng transcript, kaya nakikita ng model ang lahat nang sabay sa halip na mga piraso mula sa retrieval. Sulit ito sa reasoning na tumatawid sa maraming file at sa minsanang analysis; para sa paulit-ulit na lookup sa malaki at nagbabagong corpus, mas mura ang retrieval. Tumatanggap ng 1,048,576 token ang DeepSeek V4.1 Flash at GLM 5.3.

Light shining through towering cliffs made of stacked paper pages.

Lumaki ang mga context window mula ilang libong token hanggang lampas isang milyon. Tumatanggap ang DeepSeek V4.1 Flash at GLM 5.3 sa BroadNet Inference ng 1,048,576 token kada request, prompt at sagot na magkasama. Binabago nito ang paraan ng pagbuo mo, pero hindi nito pinagaganda ang bawat prompt.

Ano ang kasya sa isang milyong token?

Bilang magaspang na gabay: mga 1,290 token ang 1,000 salita ng English na prose, average sa limang tokenizer, sa aming tokenizer efficiency dataset, kaya humigit-kumulang 810,000 salita ng simpleng prose ang isang milyong token:

Content Humigit-kumulang
Katamtamang laking codebase (sampu-sampung libong linya) Kasya, may sobra pang puwang
Ilang mahahabang kontrata na may mga schedule Kasya
Isang araw ng transcript ng meeting Kasya
Malaking monorepo na may dependencies Madalas hindi; pumili ng mga directory

Nakadepende sa wika at content ang bilang ng token. Madalas mas maraming token kada character ang code at Arabic na text kaysa sa English na prose. Sukatin gamit ang usage block sa isang totoong request sa halip na magtantiya, o i-check ang isang sample sa context window calculator.

Aling mga model ng BroadNet ang may 1M-token na context window?

Model Context window Input Output Larawan
DeepSeek V4.1 Flash 1,048,576 $0.175 $0.52 Oo
GLM 5.3 1,048,576 $0.78 $3.46 Hindi
Qwen3.8 27B 262,144 $0.175 $2.17 Oo
BroadNet Gemma 4 VL 26B 32,768 $0.10 $0.22 Oo

Kada 1M token ang mga presyo. May tool calling at structured output ang GLM 5.3 sa parehong 1M na window.

Kailan sulit ang 1M-token na window?

  • Reasoning na tumatawid sa maraming file. Ang “Bakit pumapalya ang test na ito?” ay madalas nakadepende sa limang file na walang makakaisip na i-retrieve nang magkakasama.
  • Review ng buong dokumento. Para mahanap ang salungatan ng clause 4 at schedule B, kailangang parehong nakikita ang dalawa.
  • Minsanang analysis. Para sa tanong na isang beses mo lang itatanong, mas malaki ang pagod sa paggawa ng retrieval index kaysa sa natitipid nito.
  • Mga agent. Mas kaunti ang maling hula ng sub-agent na nababasa ang buong module. Tingnan ang pagpapatakbo ng parallel na agent.

Kailan mas mainam pa rin ang retrieval?

Panalo ang retrieval sa maraming maliliit na lookup sa library na mas malaki kaysa sa anumang window, sa content na nagbabago bawat minuto, at sa mabibilis na interactive na sagot kung saan nagdadagdag ng delay ang pagbasa muna ng napakalaking prompt. Pareho ang ginagawa ng maraming production system: i-retrieve ang pinaka-relevant na 200,000 token, saka hayaang mag-reason ang long-context na model sa lahat ng iyon. Nasa long context vs RAG ang buong desisyon, na magkatabi ang gastos kada query, latency at recall.

Talaga bang ginagamit ng model ang buong window?

Hindi pantay. Consistent ang pananaliksik dito:

  • Natuklasan ng papel na Lost in the Middle (Liu et al.) na ang performance ay “is often highest when relevant information occurs at the beginning or end of the input context” (salin: madalas pinakamataas kapag nasa simula o dulo ng input context ang relevant na impormasyon).
  • Sinubukan ng ulat na Context Rot ng Chroma ang 18 model at natuklasang “performance grows increasingly unreliable as input length grows” (salin: lalong nagiging hindi maaasahan ang performance habang humahaba ang input), kahit sa mga simpleng gawain.

Hindi sinubukan ng mga pag-aaral na ito ang mga model sa BroadNet, kaya ituring ang mga ito bilang babala, hindi sukat. Ang praktikal na patakaran: ang window na tumatanggap ng isang milyong token ay hindi nangangahulugang pantay ang atensiyon sa bawat token. Ilagay ang pinakamahalagang materyal malapit sa simula o dulo, at i-test ang recall sa sarili mong mga dokumento.

Magkano ang isang milyong-token na prompt?

Sa isang pay-as-you-go key, $0.175 kada 1M input token at $0.0055 kada 1M cached input token ang singil ng DeepSeek V4.1 Flash. Mga $0.175 ang buong isang milyong-token na prompt sa unang pagkakataon, at mas mababa nang malaki sa mga paulit-ulit na call kapag naka-cache ang prefix. Tingnan ang paano pataasin ang cache rate mo.

Ipinapakita ng prompt caching calculator kung magkano ang natitipid ng cache hit sa sarili mong laki ng prompt. Isang halimbawa: sampung tanong tungkol sa iisang set ng kontrata na 800,000 token. Kung walang caching, 8M token iyon sa $0.175 kada 1M. Kung nauuna ang mga dokumento at nananatiling pareho, 800,000 bagong token ang binabasa ng unang call at mababasa ng susunod na siyam ang karamihan ng mga iyon mula sa cache sa $0.0055 kada 1M. Ang tanong at ang sagot lang ang nagbabago.

Sa unlimited na plan, hindi binabago ng laki ng prompt ang bill: $60 kada buwan kada session ang Full Moon na walang token meter. Iyan ang dahilan kung bakit karaniwang dahilan ang mga long-context na agent para pumili ng flat na plan sa halip na per-token na billing.

Gaano kalaking puwang ang dapat iwan para sa sagot?

Sakop ng window ang prompt at output, at sa mga reasoning model, kasama sa output ang pag-iisip. Kung magpapadala ka ng 1,040,000 token na prompt, mga 8,000 na lang ang natitira para sa reasoning at sagot. Mag-iwan ng margin, itakda nang tahasan ang max_tokens, at basahin ang kung bakit puwedeng walang laman ang sagot ng mga reasoning model.

Paano ihanda ang codebase para sa 1M-token na prompt

  1. Huwag isama ang hindi kailangan ng model. Kumakain ng token at nagdadagdag ng ingay ang lock files, build output, vendored dependencies, mga larawan at generated code.
  2. Magbilang bago magpadala. Magpadala ng maliit na sample, basahin ang prompt_tokens mula sa usage, at i-scale up.
  3. Ayusin ayon sa pagiging stable. Mauna ang mga bihirang nababagong file, huli ang mga file na ine-edit, at nasa pinakadulo ang tanong. Napapanatili nitong cacheable ang prefix.
  4. Lagyan ng label ang bawat file. Ibalot ang mga file sa malinaw na marker gaya ng === path/to/file.py === para ma-cite ng model ang mga ito.
  5. Humingi ng citation. Binabawasan ng “Quote the line you rely on” (salin: i-quote ang linyang pinagbabatayan mo) ang mga kumpiyansang pagkakamali sa napakalalaking input.
  6. Sukatin. I-log ang prompt token, cached token at time to first token kada request. Ipinapakita ng streaming ang unang token sa sandaling dumating ito.

Saan bagay ang BroadNet Inference

Dalawa sa mga chat model nito ang tumatanggap ng 1,048,576 token kada request, at hindi binabawasan ng BroadNet ang context mo. Sa per-token na key, pinapanatiling abot-kaya ng caching ang paulit-ulit na mahahabang prompt; sa plan session, hindi nakakaapekto sa bill ang laki ng prompt. Kung mas malaki nang husto ang corpus mo kaysa sa isang milyong token o nagbabago ito bawat minuto, kailangan mo pa rin ng retrieval, at walang laki ng window na magbabago niyon.

Mga tanong

Binabawasan ba ng BroadNet ang mahahabang prompt?

Hindi. Hindi binabawasan ng BroadNet ang context mo. Kung lumampas sa window ng model ang prompt kasama ang max_tokens, paikliin ang prompt sa halip na umasa sa tahimik na truncation.

Ilang salita ang 1 million token?

Depende sa wika at content. Mga 129 token kada 100 salita ang sukat ng English na prose sa tokenizer dataset ng BroadRouter (mga 1,290 token ang 1,000 salita, average sa limang tokenizer), kaya humigit-kumulang 810,000 salita ang kasya sa 1,048,576 token, lampas sa isang libong pahina. Mas maraming token ang kailangan ng teknikal na text, code at Arabic, kaya bilangin ang totoong content mo.

Mabagal ba ang 1M-token na request?

Mas matagal itong magsimula kaysa sa maikling request, dahil kailangang basahin muna ng model ang buong prompt. Kadalasang nakakatulong ang mga cached prefix sa mga paulit-ulit na call. Sukatin ang time to first token sa sarili mong mga prompt.

Talaga bang ginagamit ng mga LLM ang buong context window?

Hindi pantay. Natuklasan ng papel na Lost in the Middle na madalas pinakamataas ang katumpakan kapag nasa simula o dulo ng input ang relevant na impormasyon, at natuklasan ng ulat na Context Rot ng Chroma na bumababa ang pagiging maaasahan habang humahaba ang input. Ilagay sa mga gilid ang mahahalagang materyal at mag-test sa sarili mong data.

Dapat ko na bang itigil ang paggamit ng RAG?

Hindi naman kailangan. Gumamit ng long context kapag kailangang makita ng model ang lahat nang magkakasama, at ng retrieval kapag ilang fact lang mula sa napakalaking library ang kailangan nito. Maraming system ang pinagsasama ang dalawa.

Ano ang mangyayari kung mas malaki ang prompt ko kaysa sa context window?

Hindi ito binabawasan ng BroadNet para sa iyo, kaya hindi tatakbo ang request gaya ng inaasahan. Mag-alis ng mga file, i-summarize ang mga lumang turn, o i-retrieve lang ang mga relevant na bahagi bago magpadala.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity