---
title: "promptfoo openai:chat 제공자와 커스텀 apiBaseUrl 설정 | BroadRouter"
description: "openai:chat 제공자와 apiBaseUrl, apiKeyEnvar로 BroadNet Inference에서 promptfoo 평가와 모델 비교 테스트를 실행하고, 채점 모델까지 설정합니다."
url: https://broadrouter.com/ko/guides/promptfoo-openai-compatible/
lang: ko
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/guides/promptfoo-openai-compatible/) (2026-11-16 업데이트).

# promptfoo로 BroadNet 모델 평가하기

업데이트 2026-11-16

promptfooconfig.yaml에 id가 openai:chat:broadnet/glm-5.3인 제공자를 추가하고, config에서 apiBaseUrl은 https://inference.broadnet.ai/v1, apiKeyEnvar는 BROADNET\_API\_KEY로 설정하세요. openai:chat 접두사를 써야 promptfoo가 BroadNet이 제공하는 Chat Completions 엔드포인트를 항상 호출합니다. promptfoo의 기본 출력 한도는 1,024토큰이므로 max\_tokens는 직접 지정하세요.

promptfoo는 프롬프트 테스트, 모델 비교, LLM 앱 레드팀 테스트를 위한 오픈 소스 CLI입니다. promptfoo의 OpenAI 제공자는 `apiBaseUrl`로 OpenAI 호환 게이트웨이와 함께 쓸 수 있습니다. BroadNet Inference는 `https://inference.broadnet.ai/v1` 주소에서 chat completions를 제공하므로, YAML 파일 하나로 BroadNet 모델끼리 또는 지금 쓰는 모델과 비교할 수 있습니다. BroadRouter는 BroadNet이 운영하는 사이트이며, 이 글은 0.125.1 릴리스 기준 promptfoo의 OpenAI 제공자 문서를 따릅니다.

## 준비

```bash
npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
```

## promptfooconfig.yaml

```yaml
description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh
```

실제 설정에서는 보통 테스트 입력을 `tests.vars`에 넣고, promptfoo의 이중 중괄호 템플릿 문법으로 프롬프트에서 참조합니다. 이 예제는 적힌 그대로 실행되도록 고정 값으로 두었습니다.

실행하세요.

```bash
promptfoo eval
promptfoo view   # side-by-side results in the browser
```

## 각 설정의 역할

-   **`openai:chat:` 뒤에 BroadNet ID.** `openai:chat:` 뒤의 문자열 전체가 전송되는 모델 ID이므로 `broadnet/` 접두사를 유지하세요. `chat`을 명시하면 Chat Completions 엔드포인트로 고정됩니다. BroadNet은 Responses API를 제공하지 않습니다.
-   **`apiBaseUrl`**: `/v1`까지 포함하되 `/chat/completions`는 빼는 base URL입니다. 경로는 promptfoo가 붙입니다.
-   **`apiKeyEnvar`**: BroadNet 키가 들어 있는 변수의 이름입니다. 이 변수가 없어도 promptfoo는 `OPENAI_API_KEY`로 대체하지 않습니다.
-   **`max_tokens`.** 추론 요청이 아닐 때 promptfoo의 기본값은 `temperature: 0`과 1,024토큰 한도입니다. BroadNet의 DeepSeek, GLM, Qwen 모델은 답하기 전에 추론하므로 1,024로는 빈 답변이 나올 수 있습니다. 첫 번째 제공자처럼 더 높은 한도를 설정하세요.
-   **`omitDefaults: true`**: 두 번째 제공자처럼 promptfoo의 기본 temperature와 한도를 빼고 보냅니다. 이 경우 요청에는 promptfoo가 정한 출력 한도가 없습니다.

## 모델 채점 어서션

제공자 설정은 `llm-rubric` 같은 채점 모델에 적용되지 않습니다. BroadNet 모델로 채점하려면 채점용으로 한 번 더 지정하세요.

```yaml
defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000
```

## 어떤 모델을 비교할까

| 모델 | 적합한 용도 |
| --- | --- |
| `broadnet/glm-5.3` | 도구 호출과 구조화된 출력 테스트 |
| `broadnet/qwen3.8-27b` | 이미지, 아랍어 텍스트, 도구를 쓰는 테스트 |
| `broadnet/deepseek-v4.1-flash` | 긴 컨텍스트, 비용에 민감한 테스트 |
| `broadnet/gemma-4-26b-a4b` | 초기 크레딧($5 상당)으로 하는 무료 테스트 |

BroadNet 문서는 도구와 구조화된 출력을 GLM 5.3과 Qwen3.8 27B에만 표기합니다. [모든 모델의 가격](https://broadrouter.com/ko/pricing/)을 확인하세요.

## 테스트 방법

2026-11-15에 Node 24 환경에 promptfoo 0.125.1을 설치하고, 위와 비슷한 설정으로 `promptfoo eval`을 실행했습니다. 요청은 BroadNet의 chat completions 형식을 흉내 내는 로컬 모의(mock) 서버로 보냈습니다. 테스트는 통과했습니다. 기록된 요청은 `/v1/chat/completions`로 갔고, BroadNet 모델 ID는 바뀌지 않았으며 Bearer 키가 붙어 있었습니다. 첫 번째 제공자는 `max_tokens: 4000`과 `temperature: 0`을 보냈고, `omitDefaults: true`인 제공자는 모델과 메시지만 보냈습니다. `BROADNET_API_KEY`를 설정하지 않았을 때 promptfoo는 “Missing BROADNET\_API\_KEY”를 출력하고 멈췄습니다. 채점 모델은 테스트하지 않았고, BroadNet 키가 없어서 실제 모델 출력도 테스트하지 않았습니다.

## 문제 해결

-   **출력이 비어 있거나 잘림.** `max_tokens`를 늘리세요. [답변이 비어서 오는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)를 참고하세요.
-   **404.** `apiBaseUrl`이 `/v1`로 끝나는지, `openai:chat:` 뒤의 모델 ID에 `broadnet/` 접두사가 남아 있는지 확인하세요. 유료 모델은 충전이 필요하며, 초기 크레딧($5 상당)은 `broadnet/gemma-4-26b-a4b` 모델과 Transcribe 모델 2종에만 쓸 수 있습니다.
-   **대규모 평가 중 429.** 저희 평가에서 promptfoo는 동시 실행 수 4로 실행했습니다. 종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용하므로, 테스트 세트가 크다면 `promptfoo eval -j 1`로 동시 실행 수를 낮추세요. [오류와 재시도](https://broadrouter.com/ko/guides/errors-and-retries/)를 참고하세요.

## 이 가이드의 용어

[종량제(Pay-as-you-go)](https://broadrouter.com/ko/glossary/pay-as-you-go/)

종량제(pay-as-you-go)는 구독이나 최소 약정 없이 토큰, 요청, 오디오 분 같은 단위로 사용량을 측정해 쓴 만큼만 내는 요금 방식입니다. 대부분의 LLM API가 선불 잔액에서 차감하거나 정기 청구서를 발행하는 식으로 이렇게 과금합니다.

[Chat Completions API](https://broadrouter.com/ko/glossary/chat-completions-api/)

Chat Completions API는 OpenAI의 HTTP 엔드포인트인 POST /v1/chat/completions로, 모델 이름과 역할이 붙은 메시지 목록을 받아 모델의 다음 메시지를 반환합니다. 이 요청과 응답 구조는 OpenAI 호환 제공업체와 SDK가 재사용하는 공통 형식이 되었습니다.

[구조화된 출력(Structured output)](https://broadrouter.com/ko/glossary/structured-output/)

구조화된 출력(structured output)은 모델의 응답을 개발자가 지정한 형식, 주로 JSON Schema에 맞추도록 제한해 코드가 안정적으로 파싱할 수 있게 하는 LLM API 기능입니다. 유효한 JSON만 보장하고 특정 구조는 보장하지 않는 JSON 모드보다 더 엄격합니다.

[동시 처리(concurrency)](https://broadrouter.com/ko/glossary/concurrency/)

동시 처리(concurrency)는 클라이언트가 같은 시점에 진행 중인 요청 수입니다. LLM API는 분당 요청 수와 별도로 키나 플랜마다 이를 제한하는 경우가 많습니다. 열려 있는 요청은 응답이 끝날 때까지 GPU 용량을 차지하기 때문입니다.

[속도 제한(rate limit)](https://broadrouter.com/ko/glossary/rate-limit/)

속도 제한(rate limit)은 API가 일정 시간 동안 클라이언트가 사용할 수 있는 양에 두는 상한으로, 분당 요청 수나 분당 토큰 수 같은 기준이 있습니다. 한도를 넘은 요청은 사용량이 다시 한도 아래로 내려갈 때까지 거부되며, 보통 HTTP 429 Too Many Requests가 반환됩니다.

[OpenAI 호환 API(OpenAI-compatible API)](https://broadrouter.com/ko/glossary/openai-compatible-api/)

OpenAI 호환 API는 POST /v1/chat/completions처럼 OpenAI API와 같은 요청 및 응답 형식을 받는 HTTP API입니다. 그래서 OpenAI SDK와 도구는 base URL, API 키, 모델 이름만 바꾸면 이 API를 그대로 사용할 수 있습니다.

## 자주 묻는 질문

### promptfoo 제공자 접두사로 openai:chat과 openai 중 무엇을 써야 하나요?

openai:chat을 쓰세요. openai:chat:broadnet/glm-5.3으로 지정하면 promptfoo는 BroadNet이 제공하는 /v1/chat/completions를 호출합니다. promptfoo 문서에 따르면 접두사가 openai뿐일 때 인식하지 못하는 모델 이름도 Chat Completions로 대체되지만, chat을 명시하면 이 규칙에 기대지 않아도 됩니다.

### promptfoo에서 BroadNet 답변이 중간에 잘리는 이유는 무엇인가요?

promptfoo는 추론 요청이 아닌 경우 기본 출력 한도를 1,024토큰으로 설정하는데, BroadNet의 DeepSeek, GLM, Qwen 모델은 출력 예산 일부를 추론에 씁니다. 제공자 config에 max\_tokens를 설정하거나 omitDefaults를 true로 설정하세요.

### apiKeyEnvar에 지정한 변수가 없으면 OPENAI\_API\_KEY를 대신 쓰나요?

아닙니다. promptfoo 문서에 따르면 지정한 변수가 없어도 OPENAI\_API\_KEY로 대체하지 않습니다. 저희 테스트에서는 "Missing BROADNET\_API\_KEY"를 출력하고 멈췄습니다.

### BroadNet 모델로 llm-rubric 어서션을 채점할 수 있나요?

네. 다만 promptfoo 문서에 따르면 제공자 설정은 채점 모델에 적용되지 않습니다. defaultTest.options.provider 아래에 같은 id와 config로 채점 모델을 따로 설정하세요.

## 관련 가이드

-   [curl로 BroadNet Inference에 첫 요청 보내기](https://broadrouter.com/ko/guides/curl-quickstart/)
-   [BroadNet Inference에서 OpenAI Node.js SDK 사용하기](https://broadrouter.com/ko/guides/openai-node-sdk/)
-   [추론 모델이 빈 답변을 반환하는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)
-   [BroadNet Inference 오류 코드와 재시도해야 하는 경우](https://broadrouter.com/ko/guides/errors-and-retries/)
-   [BroadNet Inference와 함께 쓸 수 있는 모든 도구 (영어)](https://broadrouter.com/integrations/): SDK, 코딩 에이전트, 채팅 UI, 자동화 도구와 각 도구의 정확한 설정

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-guides-promptfoo-openai-compatible&utm_content=page-cta) ·

**출처**

-   [promptfoo 문서, OpenAI 제공자(OpenAI 호환 게이트웨이)(2026-11-15 확인)](https://www.promptfoo.dev/docs/providers/openai/)
-   [GitHub의 promptfoo, 0.125.1 릴리스, 2026-10-25(2026-11-15 확인)](https://github.com/promptfoo/promptfoo/releases/tag/0.125.1)
-   [BroadNet Inference API 레퍼런스(2026-11-15 확인) (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-guides-promptfoo-openai-compatible&utm_content=sources)
