promptfoo는 프롬프트 테스트, 모델 비교, LLM 앱 레드팀 테스트를 위한 오픈 소스 CLI입니다. promptfoo의 OpenAI 제공자는 apiBaseUrl로 OpenAI 호환 게이트웨이와 함께 쓸 수 있습니다. BroadNet Inference는 https://inference.broadnet.ai/v1 주소에서 chat completions를 제공하므로, YAML 파일 하나로 BroadNet 모델끼리 또는 지금 쓰는 모델과 비교할 수 있습니다. BroadRouter는 BroadNet이 운영하는 사이트이며, 이 글은 0.125.1 릴리스 기준 promptfoo의 OpenAI 제공자 문서를 따릅니다.
준비
npm install -g promptfoo # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
promptfooconfig.yaml
description: BroadNet model comparison
prompts:
- 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
- id: openai:chat:broadnet/glm-5.3
label: GLM 5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
- id: openai:chat:broadnet/deepseek-v4.1-flash
label: DeepSeek V4.1 Flash
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
omitDefaults: true
tests:
- assert:
- type: icontains
value: Riyadh
실제 설정에서는 보통 테스트 입력을 tests.vars에 넣고, promptfoo의 이중 중괄호 템플릿 문법으로 프롬프트에서 참조합니다. 이 예제는 적힌 그대로 실행되도록 고정 값으로 두었습니다.
실행하세요.
promptfoo eval
promptfoo view # side-by-side results in the browser
각 설정의 역할
openai:chat:뒤에 BroadNet ID.openai:chat:뒤의 문자열 전체가 전송되는 모델 ID이므로broadnet/접두사를 유지하세요.chat을 명시하면 Chat Completions 엔드포인트로 고정됩니다. BroadNet은 Responses API를 제공하지 않습니다.apiBaseUrl:/v1까지 포함하되/chat/completions는 빼는 base URL입니다. 경로는 promptfoo가 붙입니다.apiKeyEnvar: BroadNet 키가 들어 있는 변수의 이름입니다. 이 변수가 없어도 promptfoo는OPENAI_API_KEY로 대체하지 않습니다.max_tokens. 추론 요청이 아닐 때 promptfoo의 기본값은temperature: 0과 1,024토큰 한도입니다. BroadNet의 DeepSeek, GLM, Qwen 모델은 답하기 전에 추론하므로 1,024로는 빈 답변이 나올 수 있습니다. 첫 번째 제공자처럼 더 높은 한도를 설정하세요.omitDefaults: true: 두 번째 제공자처럼 promptfoo의 기본 temperature와 한도를 빼고 보냅니다. 이 경우 요청에는 promptfoo가 정한 출력 한도가 없습니다.
모델 채점 어서션
제공자 설정은 llm-rubric 같은 채점 모델에 적용되지 않습니다. BroadNet 모델로 채점하려면 채점용으로 한 번 더 지정하세요.
defaultTest:
options:
provider:
id: openai:chat:broadnet/glm-5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
어떤 모델을 비교할까
| 모델 | 적합한 용도 |
|---|---|
broadnet/glm-5.3 |
도구 호출과 구조화된 출력 테스트 |
broadnet/qwen3.8-27b |
이미지, 아랍어 텍스트, 도구를 쓰는 테스트 |
broadnet/deepseek-v4.1-flash |
긴 컨텍스트, 비용에 민감한 테스트 |
broadnet/gemma-4-26b-a4b |
초기 크레딧($5 상당)으로 하는 무료 테스트 |
BroadNet 문서는 도구와 구조화된 출력을 GLM 5.3과 Qwen3.8 27B에만 표기합니다. 모든 모델의 가격을 확인하세요.
테스트 방법
2026-11-15에 Node 24 환경에 promptfoo 0.125.1을 설치하고, 위와 비슷한 설정으로 promptfoo eval을 실행했습니다. 요청은 BroadNet의 chat completions 형식을 흉내 내는 로컬 모의(mock) 서버로 보냈습니다. 테스트는 통과했습니다. 기록된 요청은 /v1/chat/completions로 갔고, BroadNet 모델 ID는 바뀌지 않았으며 Bearer 키가 붙어 있었습니다. 첫 번째 제공자는 max_tokens: 4000과 temperature: 0을 보냈고, omitDefaults: true인 제공자는 모델과 메시지만 보냈습니다. BROADNET_API_KEY를 설정하지 않았을 때 promptfoo는 “Missing BROADNET_API_KEY”를 출력하고 멈췄습니다. 채점 모델은 테스트하지 않았고, BroadNet 키가 없어서 실제 모델 출력도 테스트하지 않았습니다.
문제 해결
- 출력이 비어 있거나 잘림.
max_tokens를 늘리세요. 답변이 비어서 오는 이유를 참고하세요. - 404.
apiBaseUrl이/v1로 끝나는지,openai:chat:뒤의 모델 ID에broadnet/접두사가 남아 있는지 확인하세요. 유료 모델은 충전이 필요하며, 초기 크레딧($5 상당)은broadnet/gemma-4-26b-a4b모델과 Transcribe 모델 2종에만 쓸 수 있습니다. - 대규모 평가 중 429. 저희 평가에서 promptfoo는 동시 실행 수 4로 실행했습니다. 종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용하므로, 테스트 세트가 크다면
promptfoo eval -j 1로 동시 실행 수를 낮추세요. 오류와 재시도를 참고하세요.
