BroadRouter
시작하기

promptfoo로 BroadNet 모델 평가하기

업데이트

promptfooconfig.yaml에 id가 openai:chat:broadnet/glm-5.3인 제공자를 추가하고, config에서 apiBaseUrl은 https://inference.broadnet.ai/v1, apiKeyEnvar는 BROADNET_API_KEY로 설정하세요. openai:chat 접두사를 써야 promptfoo가 BroadNet이 제공하는 Chat Completions 엔드포인트를 항상 호출합니다. promptfoo의 기본 출력 한도는 1,024토큰이므로 max_tokens는 직접 지정하세요.

promptfoo는 프롬프트 테스트, 모델 비교, LLM 앱 레드팀 테스트를 위한 오픈 소스 CLI입니다. promptfoo의 OpenAI 제공자는 apiBaseUrl로 OpenAI 호환 게이트웨이와 함께 쓸 수 있습니다. BroadNet Inference는 https://inference.broadnet.ai/v1 주소에서 chat completions를 제공하므로, YAML 파일 하나로 BroadNet 모델끼리 또는 지금 쓰는 모델과 비교할 수 있습니다. BroadRouter는 BroadNet이 운영하는 사이트이며, 이 글은 0.125.1 릴리스 기준 promptfoo의 OpenAI 제공자 문서를 따릅니다.

준비

npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'

promptfooconfig.yaml

description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh

실제 설정에서는 보통 테스트 입력을 tests.vars에 넣고, promptfoo의 이중 중괄호 템플릿 문법으로 프롬프트에서 참조합니다. 이 예제는 적힌 그대로 실행되도록 고정 값으로 두었습니다.

실행하세요.

promptfoo eval
promptfoo view   # side-by-side results in the browser

각 설정의 역할

  • openai:chat: 뒤에 BroadNet ID. openai:chat: 뒤의 문자열 전체가 전송되는 모델 ID이므로 broadnet/ 접두사를 유지하세요. chat을 명시하면 Chat Completions 엔드포인트로 고정됩니다. BroadNet은 Responses API를 제공하지 않습니다.
  • apiBaseUrl: /v1까지 포함하되 /chat/completions는 빼는 base URL입니다. 경로는 promptfoo가 붙입니다.
  • apiKeyEnvar: BroadNet 키가 들어 있는 변수의 이름입니다. 이 변수가 없어도 promptfoo는 OPENAI_API_KEY로 대체하지 않습니다.
  • max_tokens. 추론 요청이 아닐 때 promptfoo의 기본값은 temperature: 0과 1,024토큰 한도입니다. BroadNet의 DeepSeek, GLM, Qwen 모델은 답하기 전에 추론하므로 1,024로는 빈 답변이 나올 수 있습니다. 첫 번째 제공자처럼 더 높은 한도를 설정하세요.
  • omitDefaults: true: 두 번째 제공자처럼 promptfoo의 기본 temperature와 한도를 빼고 보냅니다. 이 경우 요청에는 promptfoo가 정한 출력 한도가 없습니다.

모델 채점 어서션

제공자 설정은 llm-rubric 같은 채점 모델에 적용되지 않습니다. BroadNet 모델로 채점하려면 채점용으로 한 번 더 지정하세요.

defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000

어떤 모델을 비교할까

모델 적합한 용도
broadnet/glm-5.3 도구 호출과 구조화된 출력 테스트
broadnet/qwen3.8-27b 이미지, 아랍어 텍스트, 도구를 쓰는 테스트
broadnet/deepseek-v4.1-flash 긴 컨텍스트, 비용에 민감한 테스트
broadnet/gemma-4-26b-a4b 초기 크레딧($5 상당)으로 하는 무료 테스트

BroadNet 문서는 도구와 구조화된 출력을 GLM 5.3과 Qwen3.8 27B에만 표기합니다. 모든 모델의 가격을 확인하세요.

테스트 방법

2026-11-15에 Node 24 환경에 promptfoo 0.125.1을 설치하고, 위와 비슷한 설정으로 promptfoo eval을 실행했습니다. 요청은 BroadNet의 chat completions 형식을 흉내 내는 로컬 모의(mock) 서버로 보냈습니다. 테스트는 통과했습니다. 기록된 요청은 /v1/chat/completions로 갔고, BroadNet 모델 ID는 바뀌지 않았으며 Bearer 키가 붙어 있었습니다. 첫 번째 제공자는 max_tokens: 4000과 temperature: 0을 보냈고, omitDefaults: true인 제공자는 모델과 메시지만 보냈습니다. BROADNET_API_KEY를 설정하지 않았을 때 promptfoo는 “Missing BROADNET_API_KEY”를 출력하고 멈췄습니다. 채점 모델은 테스트하지 않았고, BroadNet 키가 없어서 실제 모델 출력도 테스트하지 않았습니다.

문제 해결

  • 출력이 비어 있거나 잘림. max_tokens를 늘리세요. 답변이 비어서 오는 이유를 참고하세요.
  • 404. apiBaseUrl이 /v1로 끝나는지, openai:chat: 뒤의 모델 ID에 broadnet/ 접두사가 남아 있는지 확인하세요. 유료 모델은 충전이 필요하며, 초기 크레딧($5 상당)은 broadnet/gemma-4-26b-a4b 모델과 Transcribe 모델 2종에만 쓸 수 있습니다.
  • 대규모 평가 중 429. 저희 평가에서 promptfoo는 동시 실행 수 4로 실행했습니다. 종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용하므로, 테스트 세트가 크다면 promptfoo eval -j 1로 동시 실행 수를 낮추세요. 오류와 재시도를 참고하세요.

자주 묻는 질문

promptfoo 제공자 접두사로 openai:chat과 openai 중 무엇을 써야 하나요?

openai:chat을 쓰세요. openai:chat:broadnet/glm-5.3으로 지정하면 promptfoo는 BroadNet이 제공하는 /v1/chat/completions를 호출합니다. promptfoo 문서에 따르면 접두사가 openai뿐일 때 인식하지 못하는 모델 이름도 Chat Completions로 대체되지만, chat을 명시하면 이 규칙에 기대지 않아도 됩니다.

promptfoo에서 BroadNet 답변이 중간에 잘리는 이유는 무엇인가요?

promptfoo는 추론 요청이 아닌 경우 기본 출력 한도를 1,024토큰으로 설정하는데, BroadNet의 DeepSeek, GLM, Qwen 모델은 출력 예산 일부를 추론에 씁니다. 제공자 config에 max_tokens를 설정하거나 omitDefaults를 true로 설정하세요.

apiKeyEnvar에 지정한 변수가 없으면 OPENAI_API_KEY를 대신 쓰나요?

아닙니다. promptfoo 문서에 따르면 지정한 변수가 없어도 OPENAI_API_KEY로 대체하지 않습니다. 저희 테스트에서는 "Missing BROADNET_API_KEY"를 출력하고 멈췄습니다.

BroadNet 모델로 llm-rubric 어서션을 채점할 수 있나요?

네. 다만 promptfoo 문서에 따르면 제공자 설정은 채점 모델에 적용되지 않습니다. defaultTest.options.provider 아래에 같은 id와 config로 채점 모델을 따로 설정하세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기