Bir sohbet, yazdığınız ile modelin yazdığı kadar tutar. Bir ajan çok daha fazla tutar, çünkü modeli onlarca kez çağırır ve her seferinde neredeyse her şeyi yeniden gönderir. Bu maliyeti düşürmek ya da sadece bağlam penceresine takılmayı bırakmak istiyorsanız, her isteğin hangi kısmının büyük olduğunu bilmeniz gerekir. Bu yazı bir ajan döngüsünü beş kovaya ayırıyor, her birinin API’nin kendi kullanım verileriyle nasıl ölçüleceğini gösteriyor ve önce neyin kırpılacağını listeliyor.
Bir ajan neden her şeyi yeniden gönderir?
Chat completions API’leri durumsuzdur. Model çağrılar arasında hiçbir şey hatırlamaz; bu yüzden ajan her adımda tüm bağlamı gönderir. Her çağrının 30.000 token taşıdığı 40 adımlı bir görev, belki 40.000 çıktı token’ı üretmek için 1,2 milyon girdi token’ı okur. Bu 30’a 1 oranı, ajan faturalarında girdi token’larının ve bunların önbellek fiyatının baskın olmasının nedenidir.
Token’lar nereye gidiyor?
| Kova | Nedir | Her çağrıda tekrarlanır mı? | Tipik etken |
|---|---|---|---|
| Sistem istemi | Ajan talimatları, kural dosyaları, proje notları | Evet | Uzun kural dosyaları |
| Araç şemaları | Her aracın adı, açıklaması ve JSON Schema’sı | Evet | Yerleşik araçlar artı her MCP sunucusu |
| Geçmiş | Önceki mesajlar, araç çağrıları ve sonuçları | Evet, ve büyür | Uzun oturumlar |
| Dosya okumaları ve araç çıktısı | Dosya içerikleri, test logları, arama sonuçları | Evet, çıkarılana kadar | Dosyaların tamamını okumak, ayrıntılı komutlar |
| Çıktı | Görünür yanıt, araç çağrıları ve akıl yürütme | Hayır | Akıl yürütme düzeyi, dosyaları baştan yazmak |
İlk ikisi sabit ek yüktür. Cursor Eylül 2026’da sistem istemi ve araç tanımlarının “had become one of the largest sources of spend that we fully control” (BroadRouter çevirisi: tamamen kontrolümüzdeki en büyük harcama kaynaklarından biri haline gelmişti) diye yazdı ve dosya okumalarını “another large source of token spend” (BroadRouter çevirisi: token harcamasının bir diğer büyük kaynağı) olarak nitelendirdi. Sistem isteminin yaklaşık üçte ikisini kesmek ve konuşmaların %20’sinden azında kullanılan araçları yalnızca gerektiğinde yüklemek dahil yaptığı değişiklikler, kullanıcıların token maliyetlerini %7 düşürdü. GitHub’ın VS Code ekibi de Copilot için aynı iki maliyeti adlandırdı: tekrarlanan istem öneki ve araç tanımı ek yükü.
Nasıl ölçersiniz?
Bir izleme (tracing) ürününe ihtiyacınız yok. Her yanıttaki kullanım bloğu yeterli.
- Kullanım bilgisini açın. Akış için
stream_options: {"include_usage": true}ekleyin; kullanım bilgisi son parçada gelir. Bkz. akış (streaming). - Çağrı başına loglayın: adım numarası,
prompt_tokens,prompt_tokens_details.cached_tokens,completion_tokensve bildirildiğindecompletion_tokens_details.reasoning_tokens. - Sabit ek yükü bir kez ölçün. Yalnızca sistem istemi, araçlar ve “hi” kelimesini içeren tek bir istek gönderin. Onun
prompt_tokensdeğeri tabanınızdır. - Bir aracın çıktısını ölçün. Her araç sonucunu eklemeden önce karakterlerini sayın. Dörde bölmek İngilizce için kaba bir token sayısı verir; modelinizin tokenizer’ındaki kesin rakam için bir örneği ücretsiz token sayacına yapıştırın.
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)
prompt_tokens değerini adıma göre grafiğe dökün. Düzgün bir eğim geçmişin büyüdüğünü gösterir. Ani bir sıçrama, bağlama büyük bir dosya veya log girdiğini gösterir. Yüksek bir taban, çok fazla araç olduğunu gösterir.
Aider’da /tokens mevcut bağlamda ne olduğunu bildirir, /drop da dosyaları bağlamdan çıkarır.
Önce neyi kırpmalısınız?
En kolaya göre değil, boyut çarpı tekrar sayısına göre sıralayın:
- Kullanılmayan araçlar. Her araç şeması her çağrıda taşınır. OpenAI’ın rehberi fonksiyon tanımlarının “are billed as input tokens” (BroadRouter çevirisi: girdi token’ı olarak faturalandığını) söylüyor ve esnek bir kural olarak bir turun başında 20’den az fonksiyon öneriyor. Bu görevde kullanmadığınız MCP sunucularını devre dışı bırakın; opencode belgeleri MCP araçlarının model bağlamını tükettiğini açıkça söylüyor.
- Araç çıktısı. Komut çıktısını sınırlayın (bir test logunun 20.000 değil, son 200 satırı). Arama sonuçlarını yol ve satır numarası olarak döndürün, sonra yalnızca gerekeni okuyun.
- Dosya okumaları. Dosyanın tamamını değil, fonksiyonu okuyun. Aider’ın depo haritası, dosyaların tamamı yerine varsayılan 1k token’lık bir bütçe (
--map-tokens) kullanır. - Geçmiş. Her değişiklik için yeni bir görev başlatın. Bir oturumun sürmesi gerekiyorsa eski turları kısa bir özetle değiştirin.
- Sistem istemi. Modelin zaten uyduğu kuralları çıkarın. Geri kalanını sabit tutun.
- Çıktı. Dosyaların tamamını değil, diff’leri isteyin. Rutin adımlar için
reasoning_effortdeğerinilowyapın. Akıl yürütme token’ları çıktı olarak faturalanır.
Önek neden sabit tutulmalı?
Sağlayıcılar tekrarlanan bir öneki önbelleğe alır ve daha düşük fiyattan faturalar. BroadNet Inference’ta DeepSeek V4.1 Flash, önbellekli girdiyi 1M token başına $0.0055, yeni girdiyi $0.175 üzerinden faturalar. GLM 5.3 ise $0.78 karşısında $0.173 faturalar. Sistem istemindeki bir zaman damgası ya da her çağrıda farklı sırayla listelenen araçlar, önbelleği o noktadan itibaren bozar. Sabit kısımları başa, sabit bir sırayla, değişen kısımları sona koyun. Ayrıntılar önbellekli girdi token’ları yazısında; istem önbellekleme hesaplayıcısı da belirli bir isabet oranının ne kazandırdığını gösteriyor.
Önbellek önekin fiyatını düşürür ama boyutunu düşürmez. Önbellekli token’lar yine de bağlam penceresini doldurur ve işlenmeleri yine zaman alır.
Hesaplı bir ajan bütçesi neye benzer?
Girdinin %80’i önbellekli olacak şekilde yukarıdaki 40 adımlı görevi ele alın:
| Kısım | Token | Faturalandığı fiyat |
|---|---|---|
| Yeni girdi | 240.000 | Girdi fiyatı |
| Önbellekli girdi | 960.000 | Önbellekli girdi fiyatı |
| Akıl yürütme dahil çıktı | 40.000 | Çıktı fiyatı |
Her çağrıdan 5.000 token’lık kullanılmayan araç şemasını kesmek, ajanın davranışında hiçbir değişiklik olmadan bu görevden 200.000 girdi token’ını, yani toplamın yaklaşık altıda birini çıkarır. Model seçimi, önbellekleme ve sabit planlar gibi kırpmanın ötesindeki maliyet kaldıraçları için kodlama ajanı LLM maliyetini düşürmenin 10 yolu yazısına bakın. Çoklu ajan kurulumlarında ajan sayısıyla çarpın; bkz. çoklu ajan kurulumları ne kadar tutar. Kendi döngünüzü adım adım modellemek için ajan çalıştırma maliyeti tahmin aracını kullanın.
BroadNet Inference nereye oturuyor?
BroadNet Inference, kullanım bloğunda istem ve tamamlama token’larını, model bildirdiğinde de önbellekli ve akıl yürütme token’larını döndürür; böylece yukarıdaki ölçüm yazıldığı gibi çalışır. DeepSeek V4.1 Flash’taki düşük önbellekli girdi fiyatı sabit bir öneki ödüllendirir. Kırpmak zamanınıza değmiyorsa sınırsız planlar, oturum başına ayda $60 karşılığında DeepSeek V4.1 Flash için token sayacını kaldırır; bağlam penceresi yine geçerlidir ve yalın bir bağlam yine daha hızlı çalışır. Planlar inference.broadnet.ai/plans adresinde.
