1M token’lık bağlam penceresi rehberi, bir milyon token’a nelerin sığdığını ve tek bir isteğin ne kadar tuttuğunu ele alıyor. Bu yazı ise her mimari incelemede gündeme gelen daha dar bir soruyu yanıtlıyor: vektör veritabanını ve etrafındaki RAG hattını silebilir miyiz? Bazen evet. Nasıl karar vereceğinizi dört eksende anlatıyoruz: maliyet, gecikme, isabet ve bakım.
Uzun bağlam RAG’in yerini ne zaman alır?
Şu dördünün de doğru olması gerekir:
- Derlem sığıyor. İstem, yanıt ve akıl yürütme toplamı, pay bırakılarak bağlam penceresinin içinde kalıyor. DeepSeek V4.1 Flash ve GLM 5.3 modellerinde bu pencere 1.048.576 token (ikisinin karşılaştırması). Bağlam penceresi hesaplayıcısı belgelerinizin sığıp sığmadığını kontrol eder.
- Nadiren değişiyor. Ayda bir güncellenen bir kılavuz sorun değil. Her dakika güncellenen bir destek talebi kuyruğu ise sorun.
- Herkes tamamını görebilir. Tek bir ortak derlem, filtrelenecek kullanıcı bazlı izin yok.
- Sorular derlemin geneline yayılıyor. “Hangi sözleşmeler yeni politikayla çelişiyor?” sorusu her şeyin görünür olmasını gerektirir; “iade süresi ne kadar?” sorusu gerektirmez.
Biri bile yanlışsa getirmeyi koruyun ya da hibrit bir yapı kullanın.
Sorgu başına maliyetler nasıl karşılaştırılır?
400.000 token’lık bir belge kümesi ve 500 token’lık yanıtı olan bir soru düşünün. RAG, diyelim ki 8.000 token’lık parça getiriyor. DeepSeek V4.1 Flash ile kullandıkça öde anahtarında:
| Yaklaşım | Sorgu başına girdi | Sorgu başına girdi maliyeti |
|---|---|---|
| Uzun bağlam, ilk sorgu | 400.000 yeni | 0,4 × $0.175 |
| Uzun bağlam, tekrar sorgu, önek önbellekte | yaklaşık 400.000 önbellekli | yaklaşık 0,4 × $0.0055 |
| RAG | 8.000 yeni | 0,008 × $0.175 |
Çıktı her durumda aynıdır: 1M başına $0.52 fiyatıyla 500 token. (Her çarpan, milyon cinsinden token sayısının 1M başına fiyatla çarpımıdır.)
Buradan üç sonuç çıkar. Önbellekleme olmadan uzun bağlam, girdide sorgu başına RAG’in 50 katı tutar, çünkü 50 kat fazla token gönderir. Derlem önbellekteyken fark çok küçülür, çünkü bu modelde önbellekli girdi yeni girdinin yüzde birkaçı kadar tutar. Ama önbellekleme yalnızca önek bayt bayt aynı kaldığı sürece işler; bu yüzden derlem başta yer almalı ve sabit kalmalı; bkz. önbellekleme için istem yapısı. RAG’in bu tabloda yer almayan kendi maliyetleri de vardır: derlemin embedding’lerini çıkarmak, vektör deposunu çalıştırmak ve parçalamayı ayarlamak için harcanan mühendislik zamanı. Embedding kısmının fiyatını embedding maliyet hesaplayıcısı çıkarır. Sorgu tarafının fiyatını, yani parçaları, sorgu başına token’ları ve aylık LLM faturasını RAG parçalama hesaplayıcısı çıkarır.
Kendi önbellek oranınızın ne kazandırdığını görmek için istem önbellekleme hesaplayıcısını deneyin. Sabit fiyatlı bir planda girdi sütunu ortadan kalkar: Full Moon, token sayacı olmadan oturum başına ayda $60 tutar; dolayısıyla 400.000 token’lık bir istem kısa bir istemle aynı tutar.
Gecikme nasıl karşılaştırılır?
Bir model ilk token’ı yazmadan önce istemin tamamını okur. İlk token süresi istem uzunluğuyla artar ve yüz binlerce token’lık bir istemin başlaması, 8.000 token’lık bir istemden belirgin şekilde daha uzun sürer. Birçok sunum sisteminde önbellekli önekler yardımcı olur. Vektör aramasının kendisi genellikle az ekler; getirme çağrısı üretimin yanında küçük kalır.
Dolayısıyla bir iki saniyede yanıt vermesi gereken etkileşimli bir asistan için RAG daha güvenli varsayılandır. Derin bir soru sorup yanıtı bekleyen bir analist için uzun bağlam gayet uygundur. Göndermeyi planladığınız boyutta TTFT’yi kendi istemlerinizle ölçün.
Hangisinin isabeti daha iyi?
Hiçbiri kusursuz değil ve farklı şekillerde başarısız oluyorlar.
Uzun bağlam ortadaki bilgileri kaybedebilir (lost in the middle). Lost in the Middle çalışması, modellerin bilgiyi girdinin başında veya sonunda olduğunda en iyi, arada olduğunda daha kötü kullandığını buldu. RULER kıyaslaması, basit samanlıkta iğne testlerinde neredeyse kusursuz puan alan modellerin, girdiler büyüdükçe daha zor görevlerde gerilediğini ve 32K veya daha fazla token iddia eden modellerden “only half of them” (BroadRouter çevirisi: yalnızca yarısının) 32K’da tatmin edici performansı koruduğunu buldu. Yeni modeller daha iyi, ama ilan edilen pencere kalitenin korunduğu pencereyle aynı değil.
RAG ise model başlamadan önce başarısız olur: getirici ilgili pasajı kaçırırsa model onu hiç görmez. Birçok pasaj gerektiren veya kaynaktan farklı kelimeler kullanan sorular klasik ıskalardır.
| Hata biçimi | Uzun bağlam | RAG |
|---|---|---|
| Bilgi istemin ortasına gömülü | Risk uzunlukla artar | Düşük, istem kısa |
| Yanıt dağınık 20 pasaj gerektiriyor | Güçlü | top-k büyük değilse zayıf |
| Sorgu ifadesi kaynaktan farklı | Güçlü | Embedding’lere ve yeniden sıralamaya bağlı |
| Derlem pencereden büyük | Mümkün değil | Güçlü |
Uzun bağlam için iki önlem: soruyu belgelerden sonra, en sona koyun ve modelden dayandığı satırları alıntılamasını isteyin.
Bakım ne olacak?
RAG bir sistemdir: parçalama, embedding’ler, bir indeks, değişiklikte yeniden indeksleme, izin filtreleri, getirme kalitesinin değerlendirilmesi. Uzun bağlam ise bir istemdir: dosyaları net etiketlerle birleştirip gönderin. Derlemi sığan küçük bir ekip için hattı silmek gerçek bir iş yükünü ortadan kaldırır. Büyük, değişen ve izinli bir derlem için ise hat, uzun bağlamın yapamayacağı bir işi yapıyordur.
Çoğu ekibin sonunda vardığı hibrit yapı
- Cömert getirin: beş parça değil, birkaç yüz bin token’a kadar tam belgeler.
- Önek ilgili sorular arasında önbellekte kalsın diye belgeleri sabit bir sırayla dizin (puana göre değil, belge kimliğine göre).
- Soruyu en sona koyun ve uzun bağlamlı bir modele gönderin.
- Belge etiketlerine atıf isteyin ve bunları örnekleme yoluyla kontrol edin.
Bu yapı, RAG’in devasa bir derlem üzerindeki erişimini ve uzun bağlamın birçok kaynak üzerinde akıl yürütme yeteneğini korur. Daha zayıf bir getiriciyi de tolere eder, çünkü kıl payı kaçırılan bir belge yine istemin içindedir.
BroadNet Inference’ın yeri
BroadNet Inference, 1M token’lık iki model sunar: DeepSeek V4.1 Flash ve GLM 5.3. Bağlamınızı kırpmaz; bu yüzden fazla büyük bir istek belgeleri sessizce kaybetmek yerine hata verir. Token başına ücretli bir anahtarda önbellekli girdi daha düşük önbellek ücretiyle faturalandırılır; sınırsız planlar ise DeepSeek V4.1 Flash için token sayacını tamamen kaldırır. API referansı chat completions ve transkripsiyonu listeler; bir embedding uç noktası veya vektör deposu listelemez, bu yüzden RAG yarısını kendiniz getirirsiniz. Pencerede akıl yürütme token’ları için yer bırakın; nedenini akıl yürütme rehberi açıklıyor. Fiyatlar fiyatlandırma sayfasında.
