BroadRouter
Başlayın

Ajan token bütçesi: bir ajan döngüsünün token'ları nereye gidiyor?

BroadNet Inference ekibi · 5 dk okuma · Yayımlandı

Bir ajan döngüsü her çağrıda bağlamının tamamını yeniden gönderir: sistem istemi, araç tanımları, konuşma geçmişi, dosya içerikleri ve araç çıktısı, artı yeni adım. Girdi genellikle çıktıyı kat kat aşar. Çağrı başına prompt_tokens, cached_tokens ve completion_tokens değerlerini loglayın, en büyük tekrarlanan bloğu bulun, sonra araçları kırpın, araç çıktısını sınırlayın ve uzun oturumları yeniden başlatın.

Bir sohbet, yazdığınız ile modelin yazdığı kadar tutar. Bir ajan çok daha fazla tutar, çünkü modeli onlarca kez çağırır ve her seferinde neredeyse her şeyi yeniden gönderir. Bu maliyeti düşürmek ya da sadece bağlam penceresine takılmayı bırakmak istiyorsanız, her isteğin hangi kısmının büyük olduğunu bilmeniz gerekir. Bu yazı bir ajan döngüsünü beş kovaya ayırıyor, her birinin API’nin kendi kullanım verileriyle nasıl ölçüleceğini gösteriyor ve önce neyin kırpılacağını listeliyor.

Bir ajan neden her şeyi yeniden gönderir?

Chat completions API’leri durumsuzdur. Model çağrılar arasında hiçbir şey hatırlamaz; bu yüzden ajan her adımda tüm bağlamı gönderir. Her çağrının 30.000 token taşıdığı 40 adımlı bir görev, belki 40.000 çıktı token’ı üretmek için 1,2 milyon girdi token’ı okur. Bu 30’a 1 oranı, ajan faturalarında girdi token’larının ve bunların önbellek fiyatının baskın olmasının nedenidir.

Token’lar nereye gidiyor?

Kova Nedir Her çağrıda tekrarlanır mı? Tipik etken
Sistem istemi Ajan talimatları, kural dosyaları, proje notları Evet Uzun kural dosyaları
Araç şemaları Her aracın adı, açıklaması ve JSON Schema’sı Evet Yerleşik araçlar artı her MCP sunucusu
Geçmiş Önceki mesajlar, araç çağrıları ve sonuçları Evet, ve büyür Uzun oturumlar
Dosya okumaları ve araç çıktısı Dosya içerikleri, test logları, arama sonuçları Evet, çıkarılana kadar Dosyaların tamamını okumak, ayrıntılı komutlar
Çıktı Görünür yanıt, araç çağrıları ve akıl yürütme Hayır Akıl yürütme düzeyi, dosyaları baştan yazmak

İlk ikisi sabit ek yüktür. Cursor Eylül 2026’da sistem istemi ve araç tanımlarının “had become one of the largest sources of spend that we fully control” (BroadRouter çevirisi: tamamen kontrolümüzdeki en büyük harcama kaynaklarından biri haline gelmişti) diye yazdı ve dosya okumalarını “another large source of token spend” (BroadRouter çevirisi: token harcamasının bir diğer büyük kaynağı) olarak nitelendirdi. Sistem isteminin yaklaşık üçte ikisini kesmek ve konuşmaların %20’sinden azında kullanılan araçları yalnızca gerektiğinde yüklemek dahil yaptığı değişiklikler, kullanıcıların token maliyetlerini %7 düşürdü. GitHub’ın VS Code ekibi de Copilot için aynı iki maliyeti adlandırdı: tekrarlanan istem öneki ve araç tanımı ek yükü.

Nasıl ölçersiniz?

Bir izleme (tracing) ürününe ihtiyacınız yok. Her yanıttaki kullanım bloğu yeterli.

  1. Kullanım bilgisini açın. Akış için stream_options: {"include_usage": true} ekleyin; kullanım bilgisi son parçada gelir. Bkz. akış (streaming).
  2. Çağrı başına loglayın: adım numarası, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens ve bildirildiğinde completion_tokens_details.reasoning_tokens.
  3. Sabit ek yükü bir kez ölçün. Yalnızca sistem istemi, araçlar ve “hi” kelimesini içeren tek bir istek gönderin. Onun prompt_tokens değeri tabanınızdır.
  4. Bir aracın çıktısını ölçün. Her araç sonucunu eklemeden önce karakterlerini sayın. Dörde bölmek İngilizce için kaba bir token sayısı verir; modelinizin tokenizer’ındaki kesin rakam için bir örneği ücretsiz token sayacına yapıştırın.
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)

prompt_tokens değerini adıma göre grafiğe dökün. Düzgün bir eğim geçmişin büyüdüğünü gösterir. Ani bir sıçrama, bağlama büyük bir dosya veya log girdiğini gösterir. Yüksek bir taban, çok fazla araç olduğunu gösterir.

Aider’da /tokens mevcut bağlamda ne olduğunu bildirir, /drop da dosyaları bağlamdan çıkarır.

Önce neyi kırpmalısınız?

En kolaya göre değil, boyut çarpı tekrar sayısına göre sıralayın:

  1. Kullanılmayan araçlar. Her araç şeması her çağrıda taşınır. OpenAI’ın rehberi fonksiyon tanımlarının “are billed as input tokens” (BroadRouter çevirisi: girdi token’ı olarak faturalandığını) söylüyor ve esnek bir kural olarak bir turun başında 20’den az fonksiyon öneriyor. Bu görevde kullanmadığınız MCP sunucularını devre dışı bırakın; opencode belgeleri MCP araçlarının model bağlamını tükettiğini açıkça söylüyor.
  2. Araç çıktısı. Komut çıktısını sınırlayın (bir test logunun 20.000 değil, son 200 satırı). Arama sonuçlarını yol ve satır numarası olarak döndürün, sonra yalnızca gerekeni okuyun.
  3. Dosya okumaları. Dosyanın tamamını değil, fonksiyonu okuyun. Aider’ın depo haritası, dosyaların tamamı yerine varsayılan 1k token’lık bir bütçe (--map-tokens) kullanır.
  4. Geçmiş. Her değişiklik için yeni bir görev başlatın. Bir oturumun sürmesi gerekiyorsa eski turları kısa bir özetle değiştirin.
  5. Sistem istemi. Modelin zaten uyduğu kuralları çıkarın. Geri kalanını sabit tutun.
  6. Çıktı. Dosyaların tamamını değil, diff’leri isteyin. Rutin adımlar için reasoning_effort değerini low yapın. Akıl yürütme token’ları çıktı olarak faturalanır.

Önek neden sabit tutulmalı?

Sağlayıcılar tekrarlanan bir öneki önbelleğe alır ve daha düşük fiyattan faturalar. BroadNet Inference’ta DeepSeek V4.1 Flash, önbellekli girdiyi 1M token başına $0.0055, yeni girdiyi $0.175 üzerinden faturalar. GLM 5.3 ise $0.78 karşısında $0.173 faturalar. Sistem istemindeki bir zaman damgası ya da her çağrıda farklı sırayla listelenen araçlar, önbelleği o noktadan itibaren bozar. Sabit kısımları başa, sabit bir sırayla, değişen kısımları sona koyun. Ayrıntılar önbellekli girdi token’ları yazısında; istem önbellekleme hesaplayıcısı da belirli bir isabet oranının ne kazandırdığını gösteriyor.

Önbellek önekin fiyatını düşürür ama boyutunu düşürmez. Önbellekli token’lar yine de bağlam penceresini doldurur ve işlenmeleri yine zaman alır.

Hesaplı bir ajan bütçesi neye benzer?

Girdinin %80’i önbellekli olacak şekilde yukarıdaki 40 adımlı görevi ele alın:

Kısım Token Faturalandığı fiyat
Yeni girdi 240.000 Girdi fiyatı
Önbellekli girdi 960.000 Önbellekli girdi fiyatı
Akıl yürütme dahil çıktı 40.000 Çıktı fiyatı

Her çağrıdan 5.000 token’lık kullanılmayan araç şemasını kesmek, ajanın davranışında hiçbir değişiklik olmadan bu görevden 200.000 girdi token’ını, yani toplamın yaklaşık altıda birini çıkarır. Model seçimi, önbellekleme ve sabit planlar gibi kırpmanın ötesindeki maliyet kaldıraçları için kodlama ajanı LLM maliyetini düşürmenin 10 yolu yazısına bakın. Çoklu ajan kurulumlarında ajan sayısıyla çarpın; bkz. çoklu ajan kurulumları ne kadar tutar. Kendi döngünüzü adım adım modellemek için ajan çalıştırma maliyeti tahmin aracını kullanın.

BroadNet Inference nereye oturuyor?

BroadNet Inference, kullanım bloğunda istem ve tamamlama token’larını, model bildirdiğinde de önbellekli ve akıl yürütme token’larını döndürür; böylece yukarıdaki ölçüm yazıldığı gibi çalışır. DeepSeek V4.1 Flash’taki düşük önbellekli girdi fiyatı sabit bir öneki ödüllendirir. Kırpmak zamanınıza değmiyorsa sınırsız planlar, oturum başına ayda $60 karşılığında DeepSeek V4.1 Flash için token sayacını kaldırır; bağlam penceresi yine geçerlidir ve yalın bir bağlam yine daha hızlı çalışır. Planlar inference.broadnet.ai/plans adresinde.

Sık sorulan sorular

Kodlama ajanım neden bu kadar çok girdi token'ı kullanıyor?

Çünkü API durumsuzdur. Her çağrı sistem istemini, her araç tanımını, o ana kadarki konuşmayı ve hâlâ bağlamda olan tüm dosya içeriklerini yeniden gönderir. Uzun bir oturum bunu adım sayısıyla çarpar.

Her ajan adımının kaç token kullandığını nasıl görürüm?

Her yanıtın kullanım (usage) bloğunu okuyun. Akış (streaming) kullanıyorsanız stream_options içinde include_usage değerini true yapın ve son parçayı okuyun. prompt_tokens, prompt_tokens_details.cached_tokens ve completion_tokens değerlerini adım numarasıyla birlikte loglayın.

Araç tanımları girdi token'ı sayılır mı?

Evet. Araç listesi istemin bir parçasıdır ve her çağrıda gönderilir. MCP sunucuları kendi araçlarını bu listeye ekler; opencode belgelerinin yalnızca ihtiyacınız olan sunucuları eklemenizi söylemesinin nedeni budur.

İstem önbellekleme sorunu çözer mi?

Tekrarlanan önekin boyutunu değil, fiyatını düşürür. Önbellekli girdi yine de bağlam penceresini doldurur. BroadNet'te DeepSeek V4.1 Flash önbellekli girdiyi 1M token başına $0.0055, yeni girdiyi $0.175 üzerinden faturalar.

Akıl yürütme token'ları bütçenin parçası mı?

Evet, çıktı tarafında. Akıl yürütme modelleri düşünmeyi max_tokens değerine sayar ve kullandıkça öde'de çıktı olarak faturalar. Rutin adımlar için reasoning_effort değerini low yapın.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor