BroadRouter

Gemma 4 26B üzerinde Uno: BroadNet'in uzmanlar karışımı çalışması

BroadNet Inference ekibi · 3 dk okuma · Yayımlandı · Güncellendi

BroadNet'in Eylül 2026 ön baskısı (DOI 10.5281/zenodo.22820511), bir uzmanlar karışımı (MoE) modeli için ilk Uno adaptörünü 4 bit ile sunulan Gemma 4 26B A4B üzerinde eğitiyor. Adaptör, 72 istemlik bir üretim iş yükünde düz kod çözmeden 1,166 kat hızlı; 1,474 ve 1,553 kat hız veren iki ayrı taslakçının gerisinde kalıyor, ama yaklaşık 10.500 token bağlamda üretimdeki taslakçıyı geçiyor.

BroadNet’in ikinci Uno ön baskısı, öz-taslağı (self-drafting) ilk kez bir uzmanlar karışımı modeline uyguluyor. 18 Eylül 2026’da Zenodo’da 10.5281/zenodo.22820511 DOI’siyle yayımlanan çalışma, Gemma 4 26B A4B’yi 4 bit ile sunuyor ve onun için bir Uno adaptörü eğitiyor. Hedef, BroadNet Inference’taki BroadNet Gemma 4 VL 26B ile aynı temel model.

Çalışma, yoğun (dense) bir 8B modeli test eden vLLM’de Uno sunum çalışmasının devamı. Aşağıdaki sayılar BroadNet’e ait; biz yeniden üretmedik.

Soru neydi?

Spekülatif kod çözme birkaç token’ı taslak olarak üretir ve tek geçişte doğrular. Uzmanlar karışımı modelinde ek bir endişe var: taslak satırları farklı uzmanlara yönlenebilir; dolayısıyla dört token’lık bir taslak, tek token üretmekten çok daha fazla uzman ağırlığı okuyabilir. Makale, bu “uzman yayılımının” (expert fan-out) öz-taslağı fazla pahalı hâle getirip getirmediğini ve öz-taslağın ayrı bir taslakçıyı ne zaman geçtiğini soruyor.

BroadNet bunu nasıl test etti?

Makalenin özetinden ve BroadNet’in yöntem satırından:

  • Model: Gemma 4 26B A4B, token başına yaklaşık 4B etkin parametre, 4 bit ağırlıklar.
  • Donanım: 24 GB sınıfı GPU’lar, aynı anda tek dizi.
  • İş yükü: BroadNet’in üretim trafiğinden 72 istem; her hızlanma, aynı oturumdaki düz kod çözme çalıştırmasına bölünüyor.
  • Uzun bağlam: yaklaşık 10.500 token’lık ayrı bir beş istemlik set.
  • Adaptör: rank 16, sunulduğu aynı 4 bit kontrol noktası üzerinden 965 satırla, tek bir 24 GB GPU’da, döngüde tam hassasiyetli ağırlık olmadan eğitildi.

Ne buldu?

Gemma 4 26B A4B’nin kod çözme biçimi Düz kod çözmeye göre hızlanma
Düz kod çözme 1,000
Uno pilot adaptörü, genişlik 4 1,166
Çoklu token tahmini taslakçısı, genişlik 2 1,474
Blok taslakçı, genişlik 8 1,553
Yaklaşık 10.500 token bağlamda Uno 1,089 (MTP taslakçısı: 1,011)

BroadNet’in raporladığı diğer sonuçlar:

  • Eğitim işe yaradı. Kabul oranı 1.500 güncellemede %42,4’ten %48,9’a çıktı; aynı tarifle eğitilen 2.000 satırlık daha büyük bir derlem ise eşleştirilmiş referans çalıştırmaya göre doğrulama adımı başına 0,49 daha fazla taslak token kabul ettirdi.
  • Uzman yayılımı gerçek ama ucuz. Dört taslak satırı, tek satırın 8 uzmanına karşı 22 farklı uzmana dokundu; yine de satırla ilgili toplam maliyet yaklaşık 2,4 adımlık bir döngüde 0,53 adımla sınırlı kaldı. BroadNet, bu donanım sınıfında yönlendirme maliyetinin “worth under a fifth of a cycle” (BroadRouter çevirisi: bir döngünün beşte birinden az değerinde) olduğu sonucuna varıyor.
  • Kayıpsız. BroadNet, düz çıktısı oturumdan oturuma kendini aynen tekrarlamayan bir profil için bir kontrol kurdu ve Uno’yu “as close to plain as plain is to itself” (BroadRouter çevirisi: düz kod çözme kendisine ne kadar yakınsa düze o kadar yakın) diye raporluyor.
  • Beş dil. Makale, bu adaptörün beş dildeki kabul oranının ilk ölçümü dediği sonucu veriyor.

Pratikte ne anlama geliyor?

Makalenin kendi kuralı basit: modeliniz için iyi bir küçük taslakçı varsa onu kullanın; öz-taslak yerini uzun bağlamda ve taslakçısı olmayan modellerde hak eder. Bu, BroadNet’in çalıştırdığını söylediği şeyle örtüşüyor: kataloğu Gemma 4 26B’yi üretimde çoklu token tahmini taslakçısıyla (k=2) ve “90%+ acceptance on structured prompts” (BroadRouter çevirisi: yapılandırılmış istemlerde %90’ın üzerinde kabul) ile listeliyor.

Bir taslakçı üretimde ne kadar katkı sağlıyor? BroadNet’in kataloğu, çoklu token tahmininin bir RTX 3090’da %48,8 kazanç sağladığını bildiriyor; Gemma 4 VL 26B sayfası da spekülatif kod çözme açıkken tek akışta saniyede yaklaşık 136 token veriyor. İkisi de BroadNet’in, model sayfasında anlatılan sunum yapılandırmasındaki kendi ölçümleri; API üzerinden göreceğiniz hız ayrıca yüke ve istem ile yanıtınızın uzunluğuna bağlı.

Bir API alıcısı için yararlı kısım adaptör değil, yöntem. BroadNet sunduğu her modelin müşteriye ulaşmadan önce bu hesaptan geçtiğini söylüyor: bir taslak döngüsünün maliyetini ölç, sonra gerçek iş yükünde kazanan taslakçıyı seç. Aynı disiplin, doygun sunum için EAGLE3’ün elenmesine yol açtı.

Sınırlar neler?

  • Yalnızca tek akış. Aynı anda tek dizi, her kol için tek çalıştırma. Yoğun model çalışmasının gösterdiği gibi toplu sunum farklı davranır.
  • Tek model. Sonuçlar 24 GB sınıfı kartlarda 4 bit Gemma 4 26B A4B için.
  • Bir ön baskı. Zenodo’da sürüm 2.3, hakem değerlendirmesinden geçmemiş, ekinde bir kanıt arşivi var.

vllm-uno v0.3.0 sürümü sunum profilini, bir konteyner imajını ve doğrulama kaydını içeriyor; böylece sayılar kontrol edilebiliyor. Sunulan modeli denemek için BroadNet’in tarayıcı deneme alanı Gemma 4’ü hesap gerektirmeden çalıştırıyor.

Sık sorulan sorular

Uzmanlar karışımı (MoE) modeli nedir?

Katmanlarında çok sayıda uzman alt ağ bulunan ve her token için bunlardan yalnızca birkaçının çalıştığı bir model. Gemma 4 26B A4B toplamda 26B parametreye sahip, token başına yaklaşık 4B parametresi etkin; bu yüzden boyutuna göre sunması ucuz.

Uno adaptörü burada neden diğer taslakçılardan yavaş?

Makale bunu yapısal olarak açıklıyor: bir öz-taslak döngüsü tam modelin iki ileri geçişine mal olur; ayrı bir taslakçı ise bunlardan birini küçük bir ağla değiştirir. Bu yüzden özel bir küçük taslakçı varsa genellikle o kazanır.

Öz-taslak ne zaman kazandırır?

Makaleye göre uzun bağlamda, yani daha geniş taslağın döngü başına daha çok token onayladığı durumda (yaklaşık 10.500 token'da 1,011x'e karşı 1,089x) ve hiç küçük taslakçısı olmayan modellerde.

BroadNet bu adaptörü Gemma 4 API'sinde kullanıyor mu?

BroadNet'in model sayfası, Gemma 4 26B derlemesinin çoklu token tahminiyle spekülatif kod çözme (k=2) ile sunulduğunu söylüyor. Uno adaptörü bir araştırma çıktısı olarak yayımlandı; BroadNet API trafiğini bununla sunduğunu söylemiyor.

Adaptörü indirebilir miyim?

Evet. BroadNet adaptörü Hugging Face'te Broadnet/gemma-4-26B-A4B-uno-pilot-adapter adıyla yayımlıyor; sunum profili ve konteyner imajı vllm-uno v0.3.0 sürümünde.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor