---
title: "LiteLLM OpenAI 호환 제공자 설정: api_base 지정 | BroadRouter"
description: "LiteLLM에서 openai/ 모델 접두사와 api_base로 BroadNet Inference를 호출합니다. Python SDK와 프록시 config.yaml 설정, 키에 맞춘 속도 제한까지 다룹니다."
url: https://broadrouter.com/ko/guides/litellm-proxy-custom-provider/
lang: ko
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/guides/litellm-proxy-custom-provider/) (2026-11-16 업데이트).

# LiteLLM을 BroadNet Inference에 연결하기(SDK와 프록시)

업데이트 2026-11-16

LiteLLM에서는 BroadNet 모델 ID 앞에 openai/를 붙여 openai/broadnet/glm-5.3처럼 쓰고, api\_base를 https://inference.broadnet.ai/v1로, api\_key를 BroadNet 키로 설정하세요. 프록시에서는 같은 값을 config.yaml의 litellm\_params 아래에 넣고 모델에 짧은 model\_name을 붙이면 됩니다.

LiteLLM은 여러 LLM 제공업체를 하나의 인터페이스로 묶어 주며, Python SDK와 프록시 서버 두 형태로 제공됩니다. LiteLLM 문서에 따르면 OpenAI 호환 API에 연결하려면 두 가지만 하면 됩니다. 모델 이름 앞에 `openai/`를 붙이고 `api_base`를 설정하는 것입니다. BroadNet Inference도 이 경로를 씁니다.

## 1\. Python SDK

```bash
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
```

```python
import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
```

코드 주석대로 추론에 쓰인 토큰도 `max_tokens`에 포함됩니다.

`openai/`는 경로를 고르는 역할을 하고, LiteLLM이 BroadNet에 보내는 값은 `broadnet/glm-5.3` 부분입니다. base URL 뒤에는 아무것도 붙이지 마세요. 엔드포인트 경로는 LiteLLM의 OpenAI 클라이언트가 붙입니다.

LiteLLM 문서에 따르면 `openai` 경로는 공식 OpenAI Python 라이브러리를 쓰며, 이 라이브러리는 모든 요청에 API 키를 요구합니다. 위 코드처럼 `api_key`를 명시적으로 넘겨서, LiteLLM이 OpenAI용 `OPENAI_API_KEY`로 대신 넘어가는 일이 없게 하세요. 응답은 OpenAI 형식으로 돌아오므로 나머지 코드는 바꿀 필요가 없습니다.

## 프록시는 언제 쓸까

Python 앱 하나 안에서는 SDK로 충분합니다. 프록시는 여러 앱이나 여러 언어가 같은 모델을 써야 할 때 유용합니다. 모든 앱이 짧은 모델 이름으로 OpenAI 방식 엔드포인트 하나를 호출하고, BroadNet 키 보관, 속도 제한 적용, 사용량 기록은 프록시가 맡습니다. 그러면 앱에는 BroadNet 전용 설정이 전혀 필요 없습니다.

## 2\. 프록시 서버

프록시용 추가 패키지를 설치하고 `config.yaml`을 작성하세요.

```bash
pip install 'litellm[proxy]'
```

```yaml
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY
```

프록시를 시작하고 일반 OpenAI 엔드포인트처럼 호출하세요.

```bash
litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
```

`curl` 명령은 주석대로 두 번째 터미널에서 실행합니다.

`os.environ/BROADNET_API_KEY_GLM`은 그 키를 환경 변수에서 읽으라는 뜻입니다. 항목마다 별도의 BroadNet 종량제 키를 쓰므로, LiteLLM의 배포(deployment)별 선택적 속도 제한인 `rpm: 30`은 각 키의 한도와 같습니다. 여러 항목이 키 하나를 함께 쓰면 그 한도 하나를 나눠 쓰게 되므로, 숫자를 항목별로 나눠 설정하세요. `master_key`를 설정하면 프록시가 모든 호출에 키를 요구합니다. LiteLLM 문서에 따르면 이 키는 `sk-`로 시작해야 합니다. 프록시를 시작하기 전에 `LITELLM_MASTER_KEY`를 export하세요.

## 어떤 모델을 고를까

| model\_name | BroadNet 모델 | 용도 |
| --- | --- | --- |
| `glm` | [GLM 5.3](https://broadrouter.com/ko/models/glm-5.3/) | 도구, 구조화된 출력, 100만 토큰 컨텍스트 |
| `deepseek-flash` | [DeepSeek V4.1 Flash](https://broadrouter.com/ko/models/deepseek-v4.1-flash/) | 긴 컨텍스트, 무제한 플랜 모델 |
| `qwen` | [Qwen3.8 27B](https://broadrouter.com/ko/models/qwen3.8-27b/) | 이미지, 도구, 아랍어 |
| (필요하면 추가) | [Gemma 4 VL 26B](https://broadrouter.com/ko/models/gemma-4-vl-26b/) | 낮은 토큰당 가격, 초기 크레딧($5 상당)으로 사용 가능 |

가격은 [가격 페이지](https://broadrouter.com/ko/pricing/)에 있습니다. 다른 게이트웨이에서 옮겨 온다면 [마이그레이션 체크리스트](https://broadrouter.com/ko/blog/openai-compatible-api-migration-checklist/)에서 무엇을 테스트해야 하는지 확인하세요.

## 문제 해결

-   **401.** BroadNet 키가 틀렸거나 만료되었거나, 종량제 사용 가능 금액이 소진된 경우입니다. 401이 프록시 자체에서 나온 것이라면 보낸 LiteLLM 키를 확인하세요.
-   **Not Found.** `api_base`가 `/v1`까지 포함한 `https://inference.broadnet.ai/v1` 주소인지 확인하세요. base URL이 맞다면 `openai/` 뒤의 모델 ID가 BroadNet의 ID와 정확히 같은지 확인하세요.
-   **새 계정에서 모델이 거부됨.** GLM 5.3, Qwen3.8 27B, DeepSeek V4.1 Flash는 먼저 충전해야 합니다. 초기 크레딧($5 상당)으로는 `broadnet/gemma-4-26b-a4b` 모델과 Transcribe 모델 두 개만 쓸 수 있습니다.
-   **content가 비어 있음.** 추론도 `max_tokens`에 포함됩니다. 값을 늘리거나 `reasoning_effort="low"`를 보내세요. [답변이 비어서 오는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)를 참고하세요.
-   **429.** 종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용합니다. 앞의 한도는 LiteLLM의 `rpm`으로 맞출 수 있습니다. 동시 호출은 키당 4 건 이하로 유지하세요. [오류와 재시도](https://broadrouter.com/ko/guides/errors-and-retries/)를 참고하세요.
-   **플랜 키로 에이전트 병렬 실행.** [플랜 세션](https://broadrouter.com/ko/guides/unlimited-llm-api-sessions/) 하나는 한 번에 요청 하나를 처리합니다. 세션 하나로 프록시를 거쳐 여러 에이전트를 돌리면 대기열에 쌓이므로, 병렬 에이전트마다 세션을 하나씩 구매하세요.

## 이 가이드의 용어

[종량제(Pay-as-you-go)](https://broadrouter.com/ko/glossary/pay-as-you-go/)

종량제(pay-as-you-go)는 구독이나 최소 약정 없이 토큰, 요청, 오디오 분 같은 단위로 사용량을 측정해 쓴 만큼만 내는 요금 방식입니다. 대부분의 LLM API가 선불 잔액에서 차감하거나 정기 청구서를 발행하는 식으로 이렇게 과금합니다.

[동시 처리(concurrency)](https://broadrouter.com/ko/glossary/concurrency/)

동시 처리(concurrency)는 클라이언트가 같은 시점에 진행 중인 요청 수입니다. LLM API는 분당 요청 수와 별도로 키나 플랜마다 이를 제한하는 경우가 많습니다. 열려 있는 요청은 응답이 끝날 때까지 GPU 용량을 차지하기 때문입니다.

[구조화된 출력(Structured output)](https://broadrouter.com/ko/glossary/structured-output/)

구조화된 출력(structured output)은 모델의 응답을 개발자가 지정한 형식, 주로 JSON Schema에 맞추도록 제한해 코드가 안정적으로 파싱할 수 있게 하는 LLM API 기능입니다. 유효한 JSON만 보장하고 특정 구조는 보장하지 않는 JSON 모드보다 더 엄격합니다.

[속도 제한(rate limit)](https://broadrouter.com/ko/glossary/rate-limit/)

속도 제한(rate limit)은 API가 일정 시간 동안 클라이언트가 사용할 수 있는 양에 두는 상한으로, 분당 요청 수나 분당 토큰 수 같은 기준이 있습니다. 한도를 넘은 요청은 사용량이 다시 한도 아래로 내려갈 때까지 거부되며, 보통 HTTP 429 Too Many Requests가 반환됩니다.

[AI 에이전트(AI agent)](https://broadrouter.com/ko/glossary/agent/)

AI 에이전트는 언어 모델이 목표를 향해 스스로 단계를 정하는 시스템입니다. 어떤 도구를 호출할지 결정하고, 결과를 읽고, 최종 답변을 내거나 한도에 닿을 때까지 이를 반복합니다. 정해진 지점에서 모델을 호출하는 고정된 스크립트는 보통 워크플로라고 부릅니다.

[base URL(베이스 URL)](https://broadrouter.com/ko/glossary/base-url/)

base URL은 https://api.example.com/v1처럼 API의 고정된 루트 주소로, 클라이언트가 /chat/completions 같은 모든 엔드포인트 경로 앞에 붙입니다. OpenAI 호환 SDK에서는 base URL을 API 키, 모델 ID와 함께 바꾸면 같은 코드로 다른 제공업체를 호출할 수 있습니다.

[OpenAI 호환 API(OpenAI-compatible API)](https://broadrouter.com/ko/glossary/openai-compatible-api/)

OpenAI 호환 API는 POST /v1/chat/completions처럼 OpenAI API와 같은 요청 및 응답 형식을 받는 HTTP API입니다. 그래서 OpenAI SDK와 도구는 base URL, API 키, 모델 이름만 바꾸면 이 API를 그대로 사용할 수 있습니다.

## 자주 묻는 질문

### LiteLLM이 Not Found 오류를 반환하는 이유는 무엇인가요?

LiteLLM 문서는 api\_base가 /v1로 끝나는지 확인하라고 안내합니다. https://inference.broadnet.ai/v1을 쓰고 /chat/completions는 붙이지 마세요.

### 모델 이름이 왜 openai/broadnet/glm-5.3인가요?

openai/ 접두사는 LiteLLM에 OpenAI 방식의 /chat/completions 엔드포인트를 호출하라고 알려 줍니다. LiteLLM은 접두사로 경로를 정하고, 나머지인 broadnet/glm-5.3을 보내는데 이것이 BroadNet 모델 ID입니다.

### BroadNet 무제한 플랜 키를 공유 LiteLLM 프록시 뒤에 둬도 되나요?

플랜 키는 공유하거나 재판매할 수 없고, 세션 하나는 한 번에 요청 하나를 처리합니다. 본인의 에이전트에만 쓰세요. 팀용 프록시에는 종량제 키를 쓰세요.

### LiteLLM이 BroadNet을 호출하려면 OPENAI\_API\_KEY가 필요한가요?

openai 경로는 모든 요청에 키가 필요하며, api\_key나 OPENAI\_API\_KEY에서 가져옵니다. BroadNet 키를 api\_key로 넘기거나 프록시에서는 os.environ/BROADNET\_API\_KEY를 지정해, LiteLLM이 진짜 OpenAI 키를 BroadNet으로 보내지 않게 하세요.

## 관련 가이드

-   [BroadNet Inference에서 OpenAI Python SDK 사용하기](https://broadrouter.com/ko/guides/openai-python-sdk/)
-   [BroadNet Inference 오류 코드와 재시도해야 하는 경우](https://broadrouter.com/ko/guides/errors-and-retries/)
-   [추론 모델이 빈 답변을 반환하는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)
-   [BroadNet Inference에서 LangChain 사용하기](https://broadrouter.com/ko/guides/langchain-openai-base-url/)
-   [BroadNet Inference와 함께 쓸 수 있는 모든 도구 (영어)](https://broadrouter.com/integrations/): SDK, 코딩 에이전트, 채팅 UI, 자동화 도구와 각 도구의 정확한 설정

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-guides-litellm-proxy-custom-provider&utm_content=page-cta) ·

**출처**

-   [LiteLLM 문서, OpenAI 호환 엔드포인트(2026-11-14 확인)](https://docs.litellm.ai/docs/providers/openai_compatible)
-   [LiteLLM 문서, 프록시 config.yaml(2026-11-14 확인)](https://docs.litellm.ai/docs/proxy/configs)
-   [BroadNet Inference API 레퍼런스 (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-guides-litellm-proxy-custom-provider&utm_content=sources)
