BroadRouter

Uzun süren ajanlarda 1M token pencereyle bağlam yönetimi

BroadNet Inference ekibi · 6 dk okuma · Yayımlandı · Güncellendi

Bağlamı yalnızca sonuna eklenen bir günlük gibi ele alın: önce sabit sistem istemi ve araç listesi, ardından yalnızca büyüyen geçmiş; böylece her tur önbellekteki öneki yeniden kullanır. DeepSeek V4.1 Flash'taki gibi 1.048.576 token'lık bir pencerede seyrek ve büyük adımlarla sıkıştırın, önce hacimli araç çıktısını kırpın ve kalıcı bilgileri ajanın yeniden okuduğu kısa bir not dosyasında tutun.

Bir öğleden sonra boyunca çalışan bir kodlama ajanı epey geçmiş biriktirir: okunan dosyalar, çalıştırılan komutlar, test çıktıları, planlar, düzeltmeler. Her tur bunların tamamını modele yeniden gönderir. Bu büyüyen bağlamı nasıl yönettiğiniz üç şeyi birden belirler: her turun maliyetini, yanıtın hızını ve ajanın ne yaptığını hâlâ hatırlayıp hatırlamadığını.

1M token’lık bir pencere bu dengeleri değiştirir. Ama ortadan kaldırmaz.

1M token’lık bir pencere uzun süren bir ajana ne kazandırır?

BroadNet Inference’ta DeepSeek V4.1 Flash ve GLM 5.3 istek başına, istem ve yanıt birlikte, 1.048.576 token’a kadar kabul eder. Qwen3.8 27B ise 262.144 token kabul eder. Daha küçük pencerelerde bir ajan bir iki saatlik çalışmadan sonra özet çıkarmak zorunda kalır. Bir milyon token’la çoğu zaman bir oturumun ham geçmişinin tamamını tutabilir ve yalnızca çok uzun bir çalıştırmanın sonlarına doğru sıkıştırma yapar.

Bu gerçek bir avantaj: özetler kayıplıdır ve her özet, önemli olan tek ayrıntıyı unutmak için bir fırsattır. Ama istemle birlikte üç maliyet hâlâ büyür:

  • Para, token başına ödenen bir anahtarda, çünkü her tur istemin tamamını yeniden gönderir.
  • Gecikme, çünkü sunucu ilk çıktı token’ından önce her girdi token’ını işlemek zorundadır.
  • Dikkat. Girdiler büyüdükçe kalite düşebilir; bu etkiye context rot (bağlam çürümesi) denir. “Lost in the Middle” makalesi, modellerin uzun bir girdinin başındaki ve sonundaki bilgiyi ortasındakinden daha güvenilir kullanma eğiliminde olduğunu buldu. Yeni modeller daha iyi, ama önemli bilgileri kenarlara yakın tutma alışkanlığı hâlâ işe yarıyor.

Kural 1: Geçmiş neden yalnızca sonuna eklenmeli?

İstem önbelleği eşleşmeyi istemin başından itibaren arar. Bu turun ilk 300.000 token’ı bir önceki turla birebir aynıysa önbellekten sunulabilir; değişen ilk token eşleşmeyi bitirir. BroadNet’in API’si, model bunu raporladığında durumu usage.prompt_tokens_details.cached_tokens alanında bildirir ve önbellekli girdiyi daha düşük bir fiyattan faturalar: DeepSeek V4.1 Flash’ta yeni girdi için 1M token başına $0.175 karşısında $0.0055.

Bu yüzden her isteği aynı sırayla kurun ve yalnızca sonuna ekleyin:

[ system prompt ]        never changes during a session
[ tool definitions ]     fixed order, never changes
[ project notes ]        changes rarely, and only by appending
[ turn 1 ... turn N ]    grows at the end
[ new message ]

Öneki bozan olağan şüpheliler şunlardır: sistem istemindeki bir zaman damgası, sırası sabit olmayan araç tanımları ve eski araç sonuçlarının yeniden biçimlendirilmesi. Ajanlar için bir tane daha ekleyin: her seferinde en eski turu atan “kayan pencere” kırpması; bu, ondan sonraki her şeyi kaydırır. Bunların her biri önbellekli bir istemi yepyeni bir isteme çevirir; önbelleğe uygun istem yapısı yazısı geri kalanları, önekin önbelleğe alındığını kanıtlayan bir testle birlikte listeliyor. Uzun bir oturumda fark büyüktür: istemin büyük kısmı yeni girdi yerine önbellekli girdi olabilir. Önbellekli girdi nasıl faturalanır.

Kural 2: Önbellek oranını nasıl ölçersiniz?

Her istek için günlüğe yazın. OpenAI SDK ile çağrıdan sonraki üç satır bunu yapar:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

resp = client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=history, max_tokens=8000)
u = resp.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"turn prompt={u.prompt_tokens:,} cached={cached:,} ({cached / max(1, u.prompt_tokens):.0%})")

Yalnızca sonuna ekleyen sağlıklı bir ajan, ilk turdan sonraki her turda yüksek bir önbellekli pay gösterir. Oranın birden sıfıra yakın düşmesi, istemin başlarında bir şeyin değiştiği anlamına gelir. Onu bulun ve sabitleyin. İstem önbelleği hesaplayıcısı bir önbellek oranını oturum başına paraya çevirir.

Kural 3: Bağlam büyüdüğünde ilk neyi kesmelisiniz?

Bağlamın gerçekten küçülmesi gerektiğinde neyi attığınız önemlidir. Çoğu ajan dökümünde hacmin büyük kısmı araç çıktısıdır: 4.000 satırlık bir test günlüğü, tek bir fonksiyonu bulmak için baştan sona okunan bir dosya, bir dizin listesi. Değerli kısım küçüktür: plan, kararlar ve gerekçeleri, düzeltilen hatalar.

İlkten sona, kesme sırası:

  1. Bayatlamış araç çıktısı. Eski araç sonuçlarının gövdesini tek satırlık bir özetle değiştirin: “ran pytest: 3 failures in test_api.py (fixed in turn 14)”.
  2. Yerine yenisi gelmiş dosya içerikleri. Ajan api.py dosyasını okuyup düzenledi ve sonra yeniden okuduysa ilk okuma ölü yüktür.
  3. Hiçbir yere varmayan keşifler. Bir değişikliğe yol açmayan aramalar ve okumalar.
  4. Akıl yürütme ve planlar. Bunları en uzun süre tutun. Kodun neden o hâlde olduğunu bunlar açıklar.

Araç çıktısını üretildiği anda kısaltmak daha da iyidir. Her araç sonucuna bir üst sınır koyun (örneğin bir günlüğün son 200 satırı ve toplam satır sayısı) ve ajan gerekirse fazlasını istesin. Böylece geçmiş hem yalnızca sonuna eklenen hem de küçük kalır.

Kural 4: Bir ajan geçmişini ne zaman sıkıştırmalı?

Sıkıştırma (eski geçmişi daha kısa bir bloğa özetlemek) ağır silahtır. Öneki yeniden yazar, bu yüzden sıkıştırmadan sonraki tur sistem isteminden sonraki her şey için tam girdi fiyatı öder. Birkaç turda bir azar azar sıkıştırmak, bu bedeli tekrar tekrar ödemek demektir.

Daha iyisi:

  • Yüksek bir eşik seçin. 1M pencereyle örneğin %60–70 dolulukta sıkıştırmak, özet turu ve ardından gelecek uzun bir yeni çalışma kuyruğu için yer bırakır.
  • Son kısmı olduğu gibi tutun. Eski kısmı özetleyin, son turları dokunmadan bırakın. opencode’un sıkıştırma belgeleri bunu anlatıyor: konuşmayı özetler ve en son kısmı, varsayılan olarak yaklaşık 15.000 token’ı, korur.
  • Özeti tam istemle çıkarın. Konuşmanın tamamını özet isteğine göndermek, bir önceki turun önbelleğini yeniden kullanmasını sağlar.
  • Bir kez sıkıştırın, sonra yine sona ekleyin. Sıkıştırmadan sonra yeni önek sabittir ve önbellek oradan devam eder.

Kural 5: Not dosyasına ne girmeli?

Bazı bilgiler kaç kez sıkıştırılırsa sıkıştırılsın hayatta kalmalıdır: hedef, kısıtlar, alınan kararlar, projeyi derleyen ve test eden komutlar. Bunları ajanın sonuna ekleyip yeniden okuduğu kısa bir not dosyasında (bir NOTES.md ya da bir görev dosyası) tutun. İstemin başına yakın durur, nadiren değişir ve çalıştırma yeniden başlarsa yeni bir oturumun ilk okuduğu şeydir.

Bu aynı zamanda belleğin en ucuz biçimidir: birkaç bin token, ajanı her özetten sonra aynı bilgileri yeniden keşfetmekten kurtarır.

Akıl yürütme token’ları bütçeyi nasıl etkiler?

DeepSeek V4.1 Flash, GLM 5.3 ve Qwen3.8 27B yanıt vermeden önce akıl yürütür ve akıl yürütme max_tokens sınırına sayılır. Uzun bir oturum bunu değiştirmez, ama büyük istemler insanları “yer kazanmak” için max_tokens değerini düşürmeye özendirir. Yapmayın. Dar bir çıktı bütçesi boş yanıtlar üretir, ajan da bunları yeniden dener. Yanıtlar neden boş döner.

Pencerenin istemi ve yanıtı birlikte saydığını da unutmayın. İstem 1.048.576 token’a yaklaştığında yanıt için yer kalmaz. Oraya varmadan sıkıştırın; bağlam penceresi hesaplayıcısı belirli bir istemin ne kadar yer bıraktığını gösterir.

Sabit ücretli bir planda bunun önemi var mı?

Bir BroadNet plan oturumunda DeepSeek V4.1 Flash için token sayacı yoktur: bir Full Moon oturumu, istemler ne kadar uzun olursa olsun ayda $60 tutar. Önbelleğe almanın para gerekçesi ortadan kalkar. Diğer ikisi kalkmaz. Önbellekli bir önek pek çok sunum sisteminde genellikle daha hızlı işlenir ve iyi yönetilen bir bağlam daha iyi yanıtlar verir. Alışkanlıklar aynıdır; yalnızca gerekçe değişir. Plan oturumları nasıl çalışır.

Bağlam yönetimi kontrol listesi

  • Sistem istemi ve araç listesi oturum boyunca sabit.
  • Geçmiş yalnızca sona ekleniyor; eski turlar asla yeniden biçimlendirilmiyor.
  • Önbellek oranı her istek için günlüğe yazılıyor.
  • Araç çıktısı üretilirken sınırlanıyor; bayatlayan çıktı sonradan özet satırına indiriliyor.
  • Sıkıştırma yüksek bir eşikte yapılıyor, son kısım olduğu gibi korunuyor.
  • Hedef, kısıtlar ve kararları içeren bir not dosyası var.
  • Çıktı bütçesi akıl yürütmeye yetecek kadar büyük.

Milyon token’lık bir pencerenin ne zaman kullanmaya değer olduğu için 1M bağlam penceresi rehberine bakın. İlerleme kaydetmeden büyüyen oturumları durdurmak için ajan döngüsü maliyet kontrolü yazısına göz atın.

Sık sorulan sorular

Model 1M token pencereye sahipse bağlamı neden yöneteyim?

Çünkü istem büyüdükçe maliyet, gecikme ve doğruluk birlikte değişir. Uzun istemlerin işlenmesi daha uzun sürer, token başına ödenen bir anahtarda tur başına daha pahalıdır ve araştırmalar modellerin uzun girdilerin ortasındaki bilgiyi daha az güvenilir kullandığını gösteriyor.

Ajanımın önbelleğe isabet edip etmediğini nasıl anlarım?

Model bunu raporladığında usage bloğunda prompt_tokens_details.cached_tokens alanı bulunur. Her istek için bu değeri prompt_tokens'a bölün ve oranı günlüğe yazın.

Sabit ücretli bir planda sıkıştırma önemli mi?

Fatura açısından değil, çünkü bir plan oturumunda token sayacı yoktur. Ama çok uzun oturumlarda hız ve yanıt kalitesi için hâlâ önemlidir.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor