promptfoo; istemleri test etmek, modelleri karşılaştırmak ve LLM uygulamalarına red-teaming yapmak için açık kaynaklı bir CLI’dır. OpenAI sağlayıcısı apiBaseUrl aracılığıyla OpenAI uyumlu ağ geçitleriyle çalışır. BroadNet Inference chat completions’ı https://inference.broadnet.ai/v1 adresinde sunar; böylece BroadNet’in modellerini birbiriyle ya da zaten kullandığınız modellerle tek bir YAML dosyasından karşılaştırabilirsiniz. BroadRouter, BroadNet’in kendi sitesidir; bu rehber 0.125.1 sürümü itibarıyla promptfoo’nun OpenAI sağlayıcı belgelerini izler.
Kurulum
npm install -g promptfoo # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
promptfooconfig.yaml
description: BroadNet model comparison
prompts:
- 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
- id: openai:chat:broadnet/glm-5.3
label: GLM 5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
- id: openai:chat:broadnet/deepseek-v4.1-flash
label: DeepSeek V4.1 Flash
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
omitDefaults: true
tests:
- assert:
- type: icontains
value: Riyadh
Gerçek yapılandırmalar genellikle test girdilerini tests.vars içine koyar ve istemde promptfoo’nun çift süslü parantezli şablon sözdizimiyle bunlara başvurur. Bu örneği, yazıldığı gibi çalışsın diye sabit bıraktık.
Çalıştırın:
promptfoo eval
promptfoo view # side-by-side results in the browser
Her ayar ne yapar
openai:chat:ve ardından BroadNet kimliği.openai:chat:sonrasındaki her şey gönderilen model kimliğidir; bu yüzdenbroadnet/önekini koruyun. Açıkchatkısmı Chat Completions uç noktasını sabitler; BroadNet Responses API’yi sunmaz.apiBaseUrl,/v1içeren ama/chat/completionsiçermeyen base URL’dir. Yolu promptfoo ekler.apiKeyEnvar, BroadNet anahtarınızı tutan değişkenin adıdır. Değişken yoksa promptfooOPENAI_API_KEY’e geri dönmez.max_tokens. promptfoo’nun akıl yürütme içermeyen istekler için varsayılanlarıtemperature: 0ve 1.024 token’lık bir sınırdır. BroadNet’in DeepSeek, GLM ve Qwen modelleri yanıt vermeden önce akıl yürütür; bu yüzden 1.024 boş yanıtlara yol açabilir. İlk sağlayıcıdaki gibi daha yüksek bir sınır koyun.omitDefaults: true, ikinci sağlayıcıdaki gibi promptfoo’nun varsayılan sıcaklığını ve sınırını kaldırır. Bu durumda istekte promptfoo’dan gelen bir çıktı sınırı olmaz.
Model tarafından puanlanan doğrulamalar
Sağlayıcı ayarları llm-rubric gibi puanlayıcılara uygulanmaz. Bir BroadNet modeliyle puanlamak için modeli puanlayıcı için yeniden ekleyin:
defaultTest:
options:
provider:
id: openai:chat:broadnet/glm-5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
Hangi modelleri karşılaştırmalı
| Model | Uygun olduğu iş |
|---|---|
broadnet/glm-5.3 |
Araç çağırma ve yapılandırılmış çıktı testleri |
broadnet/qwen3.8-27b |
Görsel, Arapça metin veya araç içeren testler |
broadnet/deepseek-v4.1-flash |
Uzun bağlamlı ve maliyete duyarlı testler |
broadnet/gemma-4-26b-a4b |
$5 başlangıç kredisiyle ücretsiz testler |
BroadNet’in belgeleri araçları ve yapılandırılmış çıktıyı yalnızca GLM 5.3 ve Qwen3.8 27B için listeler. Tüm modellerin fiyatları.
Bunu nasıl test ettik
2026-11-15’te promptfoo 0.125.1’i Node 24 ile kurduk ve yukarıdakine benzer bir yapılandırmayla promptfoo eval çalıştırdık; yapılandırma, BroadNet’in chat completions biçimini konuşan yerel bir sahte (mock) sunucuya yönlendirilmişti. Testler geçti. Kaydedilen istekler /v1/chat/completions adresine, BroadNet model kimliği değiştirilmeden ve bir Bearer anahtarıyla gitti. İlk sağlayıcı max_tokens: 4000 ve temperature: 0 gönderdi; omitDefaults: true olan sağlayıcı yalnızca modeli ve mesajları gönderdi. BROADNET_API_KEY tanımlı değilken promptfoo “Missing BROADNET_API_KEY” hatasıyla durdu. Puanlayıcıları test etmedik; bir BroadNet anahtarımız da olmadığı için gerçek model çıktısını test etmedik.
Sorun giderme
- Boş veya yarıda kesilmiş çıktılar.
max_tokensdeğerini yükseltin. Yanıtlar neden boş geliyor. - 404.
apiBaseUrldeğerinin/v1ile bittiğini veopenai:chat:sonrasındaki model kimliğininbroadnet/önekini koruduğunu kontrol edin. Ücretli modeller bakiye yüklemesi gerektirir; $5 kredi yalnızcabroadnet/gemma-4-26b-a4bmodelini ve iki Transcribe modelini kapsar. - Büyük değerlendirmelerde 429. promptfoo bizim değerlendirmemizi 4 eşzamanlılıkla çalıştırdı. Kullandıkça öde anahtarı dakikada 30 isteğe ve aynı anda işlemde 4 isteğe izin verir; büyük test setlerinde bunu
promptfoo eval -j 1ile düşürün. Hatalar ve yeniden denemeler rehberine bakın.
