BroadRouter
Başlayın

BroadNet modellerini promptfoo ile değerlendirin

Güncellendi

promptfooconfig.yaml içinde id değeri openai:chat:broadnet/glm-5.3 olan bir sağlayıcı ekleyin; config içinde apiBaseUrl'yi https://inference.broadnet.ai/v1, apiKeyEnvar'ı BROADNET_API_KEY yapın. openai:chat önekini kullanın ki promptfoo her zaman BroadNet'in sunduğu uç nokta olan Chat Completions'ı çağırsın. promptfoo'nun varsayılan çıktı sınırı 1.024 token olduğu için max_tokens değerini kendiniz ayarlayın.

promptfoo; istemleri test etmek, modelleri karşılaştırmak ve LLM uygulamalarına red-teaming yapmak için açık kaynaklı bir CLI’dır. OpenAI sağlayıcısı apiBaseUrl aracılığıyla OpenAI uyumlu ağ geçitleriyle çalışır. BroadNet Inference chat completions’ı https://inference.broadnet.ai/v1 adresinde sunar; böylece BroadNet’in modellerini birbiriyle ya da zaten kullandığınız modellerle tek bir YAML dosyasından karşılaştırabilirsiniz. BroadRouter, BroadNet’in kendi sitesidir; bu rehber 0.125.1 sürümü itibarıyla promptfoo’nun OpenAI sağlayıcı belgelerini izler.

Kurulum

npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'

promptfooconfig.yaml

description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh

Gerçek yapılandırmalar genellikle test girdilerini tests.vars içine koyar ve istemde promptfoo’nun çift süslü parantezli şablon sözdizimiyle bunlara başvurur. Bu örneği, yazıldığı gibi çalışsın diye sabit bıraktık.

Çalıştırın:

promptfoo eval
promptfoo view   # side-by-side results in the browser

Her ayar ne yapar

  • openai:chat: ve ardından BroadNet kimliği. openai:chat: sonrasındaki her şey gönderilen model kimliğidir; bu yüzden broadnet/ önekini koruyun. Açık chat kısmı Chat Completions uç noktasını sabitler; BroadNet Responses API’yi sunmaz.
  • apiBaseUrl, /v1 içeren ama /chat/completions içermeyen base URL’dir. Yolu promptfoo ekler.
  • apiKeyEnvar, BroadNet anahtarınızı tutan değişkenin adıdır. Değişken yoksa promptfoo OPENAI_API_KEY’e geri dönmez.
  • max_tokens. promptfoo’nun akıl yürütme içermeyen istekler için varsayılanları temperature: 0 ve 1.024 token’lık bir sınırdır. BroadNet’in DeepSeek, GLM ve Qwen modelleri yanıt vermeden önce akıl yürütür; bu yüzden 1.024 boş yanıtlara yol açabilir. İlk sağlayıcıdaki gibi daha yüksek bir sınır koyun.
  • omitDefaults: true, ikinci sağlayıcıdaki gibi promptfoo’nun varsayılan sıcaklığını ve sınırını kaldırır. Bu durumda istekte promptfoo’dan gelen bir çıktı sınırı olmaz.

Model tarafından puanlanan doğrulamalar

Sağlayıcı ayarları llm-rubric gibi puanlayıcılara uygulanmaz. Bir BroadNet modeliyle puanlamak için modeli puanlayıcı için yeniden ekleyin:

defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000

Hangi modelleri karşılaştırmalı

Model Uygun olduğu iş
broadnet/glm-5.3 Araç çağırma ve yapılandırılmış çıktı testleri
broadnet/qwen3.8-27b Görsel, Arapça metin veya araç içeren testler
broadnet/deepseek-v4.1-flash Uzun bağlamlı ve maliyete duyarlı testler
broadnet/gemma-4-26b-a4b $5 başlangıç kredisiyle ücretsiz testler

BroadNet’in belgeleri araçları ve yapılandırılmış çıktıyı yalnızca GLM 5.3 ve Qwen3.8 27B için listeler. Tüm modellerin fiyatları.

Bunu nasıl test ettik

2026-11-15’te promptfoo 0.125.1’i Node 24 ile kurduk ve yukarıdakine benzer bir yapılandırmayla promptfoo eval çalıştırdık; yapılandırma, BroadNet’in chat completions biçimini konuşan yerel bir sahte (mock) sunucuya yönlendirilmişti. Testler geçti. Kaydedilen istekler /v1/chat/completions adresine, BroadNet model kimliği değiştirilmeden ve bir Bearer anahtarıyla gitti. İlk sağlayıcı max_tokens: 4000 ve temperature: 0 gönderdi; omitDefaults: true olan sağlayıcı yalnızca modeli ve mesajları gönderdi. BROADNET_API_KEY tanımlı değilken promptfoo “Missing BROADNET_API_KEY” hatasıyla durdu. Puanlayıcıları test etmedik; bir BroadNet anahtarımız da olmadığı için gerçek model çıktısını test etmedik.

Sorun giderme

  • Boş veya yarıda kesilmiş çıktılar. max_tokens değerini yükseltin. Yanıtlar neden boş geliyor.
  • 404. apiBaseUrl değerinin /v1 ile bittiğini ve openai:chat: sonrasındaki model kimliğinin broadnet/ önekini koruduğunu kontrol edin. Ücretli modeller bakiye yüklemesi gerektirir; $5 kredi yalnızca broadnet/gemma-4-26b-a4b modelini ve iki Transcribe modelini kapsar.
  • Büyük değerlendirmelerde 429. promptfoo bizim değerlendirmemizi 4 eşzamanlılıkla çalıştırdı. Kullandıkça öde anahtarı dakikada 30 isteğe ve aynı anda işlemde 4 isteğe izin verir; büyük test setlerinde bunu promptfoo eval -j 1 ile düşürün. Hatalar ve yeniden denemeler rehberine bakın.

Sık sorulan sorular

promptfoo sağlayıcı öneki olarak openai:chat mi yoksa openai mi kullanmalıyım?

openai:chat. openai:chat:broadnet/glm-5.3 ile promptfoo, BroadNet'in sunduğu /v1/chat/completions uç noktasını çağırır. promptfoo'nun belgelerine göre yalın openai önekinden sonra tanınmayan bir model adı da Chat Completions'a düşer, ancak açık chat öneki bu kurala bağlı kalmaz.

BroadNet yanıtları promptfoo'da neden yarıda kesiliyor?

promptfoo, akıl yürütme içermeyen istekler için varsayılan olarak 1.024 token'lık bir çıktı sınırı koyar; BroadNet'in DeepSeek, GLM ve Qwen modelleri ise çıktı bütçesinin bir kısmını akıl yürütmeye harcar. Sağlayıcı config'inde max_tokens ayarlayın ya da omitDefaults değerini true yapın.

apiKeyEnvar, OPENAI_API_KEY değişkenine düşer mi?

Hayır. promptfoo'nun belgelerine göre adı verilen değişken yoksa OPENAI_API_KEY'e geri dönmez. Bizim testimizde "Missing BROADNET_API_KEY" hatasıyla durdu.

llm-rubric doğrulamalarını bir BroadNet modeli puanlayabilir mi?

Evet, ancak promptfoo'nun belgelerine göre sağlayıcı ayarları puanlayıcılara uygulanmaz. Puanlayıcıyı defaultTest.options.provider altında aynı id ve config ile ayrıca tanımlayın.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor