Bir isteği göndermeden önce token sayısını bilmeniz üç nedenle gerekir: bağlam penceresinin içinde kalmak, makul bir max_tokens değeri seçmek ve maliyeti tahmin etmek. Kesin sayıyı yalnızca modelin kendi tokenizer’ı verir. İyi tahminler ise kalibrasyondan gelir. Bu yazı ikisini de gerçek ölçümlerle gösteriyor.
Token sayıları modelden modele neden farklı?
Tokenizer, metni sabit bir sözlükten alınan parçalara böler. Her model ailesi kendi tokenizer’ını eğitir. Daha büyük bir sözlük ya da belirli bir dilde daha fazla veriyle eğitilmiş bir sözlük, o dil için daha az token üretir. Dolayısıyla “bu istem kaç token” sorusunun yanıtı her modelde farklıdır.
Dört dile çevrilmiş aynı kısa müşteri hizmetleri mesajını, küçük bir Python fonksiyonunu ve bir fatura JSON nesnesini ölçtük. OpenAI sayımları tiktoken ile yapıldı (GPT-4 dönemine ait cl100k_base ve GPT-4o dönemine ait o200k_base). Açık model sayımları, her ailenin Hugging Face’te yayımladığı tokenizer dosyalarıyla, sohbet şablonu olmadan, 14 Kasım 2026’da yapıldı.
| Metin (aynı anlam) | Karakter | cl100k_base | o200k_base | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 |
|---|---|---|---|---|---|---|---|
| İngilizce, 31 kelime | 173 | 37 | 37 | 37 | 38 | 39 | 39 |
| İspanyolca | 160 | 47 | 40 | 50 | 45 | 43 | 42 |
| Arapça | 142 | 102 | 46 | 55 | 58 | 48 | 49 |
| Çince | 54 | 51 | 37 | 34 | 35 | 36 | 38 |
| Python fonksiyonu | 94 | 33 | 33 | 35 | 33 | 35 | 38 |
| Fatura JSON’u | 140 | 59 | 60 | 63 | 60 | 72 | 72 |
Her satır tek bir örnek; bu yüzden sayıları bir kıyaslama (benchmark) değil, bir örnek olarak görün. Yine de üç ders geçerli. Tokenizer kuşağı önemlidir: Arapça metin cl100k_base’den o200k_base’e geçince yarıdan fazla küçüldü. Açık modeller de birbirinden farklıdır: aynı Arapça metin 48 ile 58 token, JSON ise 60 ile 72 token arasında değişti. Yapılandırılmış içerik de her yerde token yoğundur: JSON her tokenizer’da token başına yaklaşık 2 karakterdi.
Bunu kendi metninizle ücretsiz token sayacında ya da DeepSeek, Qwen ve GPT için aileye özel sayaçlarda tekrarlayabilirsiniz. Bir istemde yaptığınız düzenlemenin ne kazandırdığını görmek için iki sürümü istem token farkı aracında karşılaştırın. Özellikle Arapçanın neden daha fazla token tuttuğu, daha uzun metinlerle ölçülerek Arapça ve İngilizcede kelime başına token yazısında ele alınıyor.
Token’lar tam olarak nasıl sayılır?
Modelin tokenizer’ı herkese açıksa yükleyin ve yerelde sayın. OpenAI modelleri için:
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))
Açık ağırlıklı ailelerde tokenizer genellikle Hugging Face’te modelle birlikte gelir ve AutoTokenizer.from_pretrained(...) ile yüklenir. İki uyarı var: sohbet şablonu roller ve ayırıcılar için token ekler, ayrıca bir API sağlayıcısının kullandığı sürüm herkese açık dosyalardan farklı olabilir. BroadNet’in API referansı bir token sayma uç noktası veya her modelin tokenizer’ını belgelemiyor; bu yüzden herkese açık tokenizer yakın bir tahmin verir, kesin sayı ise çağrıdan sonra usage.prompt_tokens değeridir.
Tokenizer herkese açık değilse token’lar nasıl tahmin edilir?
Her model için bir kez kalibre edin, sonra yerelde tahmin edin:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def prompt_tokens(model, text):
r = client.chat.completions.create(
model=model, max_tokens=1000, # room for reasoning on thinking models
messages=[{"role": "user", "content": text}],
)
return r.usage.prompt_tokens
def measure(model, samples: dict[str, list[str]]):
base = prompt_tokens(model, "hi") # chat-template overhead plus one short word
ratios = {}
for kind, texts in samples.items():
chars = toks = 0
for t in texts:
chars += len(t)
toks += prompt_tokens(model, t) - base
ratios[kind] = chars / toks
return ratios # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}
def estimate(text, kind, ratios, overhead=10):
return int(len(text) / ratios[kind]) + overhead
İçerik türü başına 20 veya daha fazla gerçek örnek kullanın (lorem ipsum değil, gerçek istemleriniz). Tek kelimelik temel istek, sohbet şablonunun sabit ek yükünü ayıklar; estimate bunu overhead olarak geri ekler, bu değeri ölçtüğünüz temel değere ayarlayın. BroadNet’in en ucuz modeliyle kalibre etmeyi yalnızca çağıracağınız model oysa yapın: Gemma 4 VL 26B oranları DeepSeek V4.1 Flash modeline aktarılmaz. Görseller de girdi token’ı olarak faturalandırılır ve büyük görseller daha fazla token kullanır; bu yüzden onları çözünürlüğe göre ayrıca kalibre edin.
max_tokens ve bağlam için hangi payları kullanmalısınız?
Pencere istemi ve çıktıyı kapsar. Akıl yürüten modellerde çıktı, akıl yürütme token’ları olarak raporlanan gizli düşünmeyi de içerir. Bütçeyi şöyle kurun:
- İstem tahmini = kalibre edilmiş sayı × 1,15 (%15 güvenlik payı).
- Yanıt bütçesi = kabul ettiğiniz en uzun yanıt.
- Akıl yürütme bütçesi = düşünen modeller için en az 1.000 token; BroadNet’in belgeleri en az 1.000 veya
reasoning_effort: "low"öneriyor, çünkü küçük bir sınır boş yanıt döndürebilir. - max_tokens = yanıt bütçesi + akıl yürütme bütçesi.
- Kontrol: istem tahmini + max_tokens ≤ bağlam penceresi. Sığmıyorsa yanıtı değil, istemi kısaltın.
Yayımlanan fiyat dosyasına göre BroadNet Inference’taki bağlam pencereleri:
| Model | Bağlam penceresi | 16K çıktı ve %15 payla pratik istem tavanı |
|---|---|---|
| DeepSeek V4.1 Flash | 1.048.576 | yaklaşık 897.000 |
| GLM 5.3 | 1.048.576 | yaklaşık 897.000 |
| Qwen3.8 27B | 262.144 | yaklaşık 213.000 |
| Gemma 4 VL 26B | 32.768 | yaklaşık 14.000 |
Tavan sütunu (pencere − 16.384) ÷ 1,15 formülüyle hesaplanıp aşağı yuvarlandı. 16.384 yerine kendi max_tokens değerinizi koyun.
Token tahminlerinde neler ters gider?
- Token yerine kelime saymak. Token başına 0,75 kelime kuralı İngilizce içindir. 29 kelimelik Arapça örneğimiz tokenizer’a göre 46 ile 102 token arasında tuttu.
- Araçları ve sistem istemini unutmak. Araç şemaları JSON’dur ve JSON token yoğundur. Onları istemin parçası olarak sayın.
- Sessiz kırpma olacağını varsaymak. Bazı araçlar eski mesajları size haber vermeden atar. BroadNet bağlamınızı kırpmadığını söylüyor; bu yüzden sunucunun kesmesine güvenmek yerine göndermeden önce boyutu kontrol edin. Bağlam penceresi hesaplayıcısı bu kontrolü sizin için yapar.
- Geçmişin büyümesini göz ardı etmek. Bir sohbet veya ajan döngüsünde istem her turda büyür. Bütçeyi oturum başına bir kez değil, her çağrıda yeniden kontrol edin. Sabit bir geçmiş önbelleğe de daha iyi alınır; bkz. önbellekleme için istem yapısı.
Arapça çalışıyorsanız tokenizer, modelleri kendi metninizle test etmeniz için bir neden daha; gerisini Arapça için LLM seçimi yazısı ele alıyor. Token sayılarını aylık faturaya çevirmek için lansmandan önce LLM API maliyetini tahmin etme yazısına bakın.
BroadNet Inference’ın yeri
BroadNet Inference her yanıtta prompt_tokens, completion_tokens ve model raporladığında önbellekli ve akıl yürütme token sayılarını döndürür; kalibrasyon için ihtiyacınız olan her şey bu. Bir sayma uç noktası veya modele özel tokenizer’lar yayımlamıyor; bu yüzden gönderim öncesi sayımlar tahmindir. 1M token’lık modellerde uzun bağlamla çalışma bağlam penceresi rehberinde, 1M token başına fiyatlar ise fiyatlandırma sayfasında yer alıyor.
