Daha kısa istemler daha az tutar, bağlam penceresinde işe daha fazla yer bırakır ve genellikle ilk token’ı daha erken döndürür. Ama “istemi kısaltın” belirsiz bir tavsiyedir. Bu yazı, gerçekçi bir destek botu istemi üzerinde yaygın kırpmaları dört açık modelin gerçek tokenizer’ları ve OpenAI’nin o200k_base kodlamasıyla ölçüyor; böylece hangi düzenlemelerin zamanınıza değdiğini görebilirsiniz.
Bir kodlama ajanı çalıştırıyorsanız, o döngüyü ajan token bütçesi yazısı ele alıyor. Bu yazı uygulama istemleriyle ilgili: sohbet botları, sınıflandırıcılar ve çıkarım işleri.
Nasıl ölçtük?
Aşağıdaki tüm sayımlar bize ait, 15 Kasım 2026’da yapıldı:
- Tokenizer’lar. DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B ve Google’ın Gemma 4 26B A4B modelinin resmî
tokenizer.jsondosyaları; her biri sabitlenmiş bir Hugging Face revizyonunda (bkz. Kaynaklar), Hugging Facetokenizers0.23.3 ile yüklendi. GPT modelleriyle karşılaştırmak içintiktoken0.14.0’dano200k_basede eklendi. Özel token’lar eklenmedi. - İşlenmiş istemler. DeepSeek, GLM ve Qwen için tam istekleri de her modelin yayımlanmış
chat_template.jinjaşablonundan (Jinja2 sandbox) geçirdik; sistem istemi, araçlar, geçmiş ve soruyla birlikte sonucu saydık. Bu, bir sunucunun token’a çevirdiğine yakındır; ama bir sağlayıcı farklı bir şablon kullanabilir, bu yüzden son sözü API’ninusage.prompt_tokensdeğerine bırakın. - Metin. Kurgusal bir telekom şirketi için sentetik bir destek botu: 261 kelimelik bir sistem istemi, 10 araç, 8 few-shot örnek, 40 sipariş satırı, 20 turluk bir geçmiş ve 31 kelimelik bir Arapça paragraf. Tek bir istem, tek bir veri noktasıdır. Sizin tasarrufunuz farklı olacaktır; yöntem ise aynen uygulanabilir.
BroadNet’in Gemma 4 VL 26B modeli Google’ın modeline dayanır; bu yüzden onun sayımı bir tahmindir. Diğerleri modellerin kendi dosyalarını kullanır.
Hangi kırpmalar en çok token kazandırır?
Ham metin, önce → sonra, tasarruf payıyla:
| Değişiklik | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
|---|---|---|---|---|---|
| Sistem istemi: 261 kelime → 66 kelime | 295 → 88 (%70) | 294 → 89 (%70) | 297 → 95 (%68) | 297 → 96 (%68) | 293 → 86 (%71) |
| Few-shot: 8 örnek → 3 | 157 → 69 (%56) | 157 → 69 (%56) | 156 → 71 (%54) | 156 → 71 (%54) | 152 → 69 (%55) |
| 40 satır: girintili JSON → sıkıştırılmış JSON | 2.446 → 1.606 (%34) | 2.460 → 1.581 (%36) | 3.180 → 1.980 (%38) | 3.210 → 2.010 (%37) | 2.446 → 1.567 (%36) |
| 40 satır: sıkıştırılmış JSON → CSV | 1.606 → 948 (%41) | 1.581 → 960 (%39) | 1.980 → 1.359 (%31) | 2.010 → 1.382 (%31) | 1.567 → 946 (%40) |
| 10 araç: uzun → kısa açıklamalar | 1.224 → 806 (%34) | 1.214 → 797 (%34) | 1.225 → 806 (%34) | 1.252 → 827 (%34) | 1.202 → 796 (%34) |
| 10 uzun araç → 3 kısa araç | 1.224 → 258 (%79) | 1.214 → 257 (%79) | 1.225 → 266 (%78) | 1.252 → 276 (%78) | 1.202 → 255 (%79) |
| Arapça paragraf: tamamen harekeli → harekesiz | 193 → 74 (%62) | 267 → 78 (%71) | 151 → 62 (%59) | 180 → 64 (%64) | 218 → 62 (%72) |
İngilizce düz metinde yüzdeler tokenizer’lar arasında benzerdir; yani bir modelde işe yarayan kırpma diğerlerinde de işe yarar. İki satır bu kalıbı bozar. Sipariş verisi, her formatta Qwen ve Gemma’da DeepSeek ve GLM’ye göre %23–46 daha fazla token tuttu; çünkü bu tokenizer’lar sayıları tek tek rakamlara böler: 100200, Qwen’de 6, DeepSeek’te 2 token’dır. Arapça harekeler de bazı tokenizer’ları diğerlerinden çok daha sert etkiler.
Tam bir istek nasıl görünür?
Ham metin sohbet şablonunu kaçırır. Her modelin kendi şablonuyla, aynı müşteri sorusuyla işlenmiş tam istemin ölçümü:
| İstek | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B |
|---|---|---|---|
| A. Uzun sistem istemi + 10 uzun araç | 1.677 | 1.535 | 1.797 |
| B. Kırpılmış sistem istemi + 10 kısa araç | 1.052 | 913 | 1.176 |
| C. Kırpılmış sistem istemi + 3 kısa araç | 574 | 443 | 636 |
| D. Kırpılmış sistem istemi, araç yok | 136 | 121 | 174 |
| C + önceki 20 turun tamamı | 2.374 | 2.243 | 2.693 |
| C + 3 satırlık özet + son 4 tur | 979 | 849 | 1.103 |
A’dan C’ye geçmek her isteği yaklaşık %65–71 küçülttü (Qwen’de %64,6, GLM’de %71,1). Bunun çoğu araçlardan geldi. Uzun sistem istemiyle işlendiğinde 10 uzun araç DeepSeek’te 1.334, GLM’de 1.209 ve Qwen’de 1.421 token ekledi; C’deki 3 kısa araç ise D’nin üzerine 322–462 token ekledi. Araç çağırma şemaları, model kullansın ya da kullanmasın, her istekle birlikte gider.
Hacim arttıkça bu birikir. Qwen3.8 27B üzerinde A’dan C’ye geçiş istek başına 1.161 token kazandırır. Ayda 100.000 istekte bu yaklaşık 116 milyon girdi token’ı eder; standart girdi fiyatıyla ayda 116 × $0.175.
Bir sistem istemini bozmadan nasıl kırparsınız?
261 kelimelik ve 66 kelimelik istemlerimiz aynı yedi kuralı taşıyor. Kırpmaların hepsi aynı türdendi:
- Modele nezaket göstermeyi bırakın. “It is very important that you always remain polite and courteous at all times” (her zaman kibar ve nazik kalmanız çok önemlidir) cümlesi tamamen kalktı: rol satırı bunu zaten ima ediyor.
- Satır başına bir kural. “Please make sure that you always…” (lütfen her zaman şunu yaptığınızdan emin olun…) cümlelerinin yerini madde işaretleri alıyor.
- Tekrarları birleştirin. Dil hakkındaki üç cümle “Reply in the customer’s language (Arabic or English), briefly.” (müşterinin dilinde, Arapça veya İngilizce, kısaca yanıt ver) haline geldi.
- Varsayılanı yineleyen cümleleri silin. “Remember to always be helpful!” (her zaman yardımcı olmayı unutma!) hiçbir şeyi değiştirmez.
Sonra test edin. Bir kuralı kaybeden kısa bir istem, kazandırdığından fazlasına mal olur. İki sürümü aynı 50–100 gerçek girdi üzerinde çalıştırıp model değiştirmeden önce LLM değerlendirme yazısındaki gibi karşılaştırın.
Kaç few-shot örneğe ihtiyacınız var?
Çoğu istemin taşıdığından daha azına. Her few-shot örneğin bedeli her çağrıda ödenir. Model onlar olmadan hata yaptığında bu hatayı düzelten örnekleri tutun (örneğin Arapça bir sınıflandırıcı için bir lehçe örneği), modelin zaten doğru yaptıklarını çıkarın. 8 → 3 kırpmamız örnek bloğunun %54–56’sını kurtardı. Görev için 3’ün yeterli olup olmadığı bir token sorusu değil, doğruluk sorusudur; bunu kendi test setinizde kontrol edin.
Araçları, veriyi ve geçmişi farklı mı göndermelisiniz?
Araçlar. Yalnızca mevcut adımın kullanabileceği araçları gönderin. Bir fatura sorusu order_esim değil, get_account, get_bill ve create_ticket gerektirir. Açıklamaları, modelin aracı seçmesi ve doldurması için gereken kadar kısaltın. Burada girinti önemli değildir: işlediğimiz şablonların hepsi tools dizisini tojson ile yeniden serileştirir; bu yüzden girintili bir araç dizisi sıkıştırılmış olanla aynı tutar.
Mesajlardaki veri. Bir mesaja yapıştırdığınız veri yazıldığı gibi gönderilir. En azından JSON’u sıkıştırın. Düz kayıtlarda CSV veya TSV tekrarlanan anahtarları atar: testimizde sıkıştırılmış JSON’a göre %31–41 daha az token. İç içe veri JSON olarak kalsın. Modelin sütunları hâlâ doğru okuduğunu kontrol edin.
Geçmiş. Geçmişteki her tur yeniden gönderilir. 16 eski turu üç satırlık bir özetle değiştirmek ve son dört turu aynen tutmak, Qwen istemini 2.693’ten 1.103 token’a indirdi. Özet, kullanıcının daha sonra atıfta bulunabileceği ayrıntıları atar; özeti yeniden yazmak da öneki değiştirir ve önbelleği bozar. Ne zaman sıkıştırılacağını uzun süre çalışan ajanlarda bağlam yönetimi yazısı anlatıyor.
Arapça harekeler. Arapçanın çoğu kısa ünlüler olmadan yazılır. Girdiniz bir sözlükten, ders kitabından veya dinî bir kaynaktan geldiği için tamamen harekeliyse, işaretleri (U+064B ile U+0652 arası) çıkarmak paragrafımızı %59–72 kısalttı. Eğitim veya şiir gibi görevin onlara dayandığı durumlarda harekeleri koruyun. Normalleştirmeye değer diğer karakterleri Arapça metin normalleştirme, İngilizceyle aradaki genel farkı ise Arapçada kelime başına token yazısı ele alıyor.
Önbellekleme nereye oturuyor?
Önbellekleme istemi küçültmez; tekrarlanan kısmı ucuzlatır. OpenAI’nin önbellekleme rehberi “the entire rendered prefix” (işlenmiş önekin tamamı) eşleşmesi gerektiğini söyler ve sabit talimatları başa koymayı önerir. BroadNet’in fiyat sayfası önbellekli girdiyi “usually the repeated start of recent requests, such as a long system prompt” (BroadRouter çevirisi: genellikle son isteklerin tekrarlanan başlangıcı, örneğin uzun bir sistem istemi) olarak tanımlar ve kurulum gerektirmez; belgeleri de isabetleri usage.prompt_tokens_details.cached_tokens içinde raporlar.
Yani sıra şudur: önce kısaltın, sonra kısaltılmış öneki sabit tutun. Sistem istemi ve araçlar en başta, her çağrıda bayt bayt aynı; ardından geçmiş, yalnızca sona ekleyerek; yeni mesaj en sonda. Qwen3.8 27B’de önbellekli girdi 1M başına $0.0435, yeni girdi ise $0.175 tutar. Önbellekleme için istem yapısı yazısında yerleşim düzeni ve önekin yeniden kullanıldığını kanıtlayan bir test var. Önbellekli token’lar da bağlam penceresinden sayılır.
Kendi isteminizi nasıl ölçersiniz?
Faturadan başlayın. Bir gün boyunca her çağrı noktası için usage.prompt_tokens değerini kaydedin ve en büyüğünü bulun. Ardından sürümleri yerel olarak, iki dosya için önce ve sonra sayılarını yazdıran şu betikle karşılaştırın:
# pip install tokenizers tiktoken huggingface_hub
import json, sys
import tiktoken
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer
def hf(repo, rev):
return Tokenizer.from_file(hf_hub_download(repo, "tokenizer.json", revision=rev))
COUNTERS = {
"Qwen3.8 27B": hf("Qwen/Qwen3.8-27B", "37561816e66b5b9153b1b64c10968c18c1e6f4a0").encode,
"GPT o200k": tiktoken.get_encoding("o200k_base").encode,
}
def n(enc, text):
out = enc(text)
return len(out.ids if hasattr(out, "ids") else out)
def diff(before, after):
for name, enc in COUNTERS.items():
a, b = n(enc, before), n(enc, after)
print(f"{name:12} {a:6} -> {b:6} saved {a - b} ({100 * (a - b) / a:.0f}%)")
if __name__ == "__main__":
diff(open(sys.argv[1], encoding="utf-8").read(), open(sys.argv[2], encoding="utf-8").read())
İki sistem istemimiz üzerinde çalıştırıldığında çıktı şuydu:
Qwen3.8 27B 297 -> 95 saved 202 (68%)
GPT o200k 293 -> 86 saved 207 (71%)
Dördünü de karşılaştırmak için Kaynaklar listesindeki diğer modellerin depolarını ekleyin. Tarayıcıda hızlı bir kontrol için istem token farkı aracı iki sürümü yan yana karşılaştırır, token sayacı ise tek bir metni sayar. Dağıtımdan sonra, şablonu da içeren usage.prompt_tokens değerinde tasarrufu doğrulayın.
BroadNet Inference nereye oturuyor
BroadRouter, BroadNet’in sitesidir. BroadNet Inference istem token’larını her modelin girdi fiyatıyla faturalandırır ve modelin önbellekli fiyatı varsa tekrarlanan önekleri önbellekten o fiyatla okur; böylece hem kısa istemler hem de sabit önekler faturayı düşürür. Gemma 4 VL 26B 32.768 token’lık bir bağlama sahiptir; orada kırpmak maliyet kadar sığdırmak için de önemlidir. DeepSeek V4.1 Flash planlarında token sayacı yoktur, ama 1.048.576 token’lık bağlam yine geçerlidir ve kısa bir istem yine daha erken yanıt döndürür. İstemler her istekten sonra saklanmaz.
