LiteLLM은 여러 LLM 제공업체를 하나의 인터페이스로 묶어 주며, Python SDK와 프록시 서버 두 형태로 제공됩니다. LiteLLM 문서에 따르면 OpenAI 호환 API에 연결하려면 두 가지만 하면 됩니다. 모델 이름 앞에 openai/를 붙이고 api_base를 설정하는 것입니다. BroadNet Inference도 이 경로를 씁니다.
1. Python SDK
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
import os
import litellm
response = litellm.completion(
model="openai/broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000, # reasoning counts toward this
messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
코드 주석대로 추론에 쓰인 토큰도 max_tokens에 포함됩니다.
openai/는 경로를 고르는 역할을 하고, LiteLLM이 BroadNet에 보내는 값은 broadnet/glm-5.3 부분입니다. base URL 뒤에는 아무것도 붙이지 마세요. 엔드포인트 경로는 LiteLLM의 OpenAI 클라이언트가 붙입니다.
LiteLLM 문서에 따르면 openai 경로는 공식 OpenAI Python 라이브러리를 쓰며, 이 라이브러리는 모든 요청에 API 키를 요구합니다. 위 코드처럼 api_key를 명시적으로 넘겨서, LiteLLM이 OpenAI용 OPENAI_API_KEY로 대신 넘어가는 일이 없게 하세요. 응답은 OpenAI 형식으로 돌아오므로 나머지 코드는 바꿀 필요가 없습니다.
프록시는 언제 쓸까
Python 앱 하나 안에서는 SDK로 충분합니다. 프록시는 여러 앱이나 여러 언어가 같은 모델을 써야 할 때 유용합니다. 모든 앱이 짧은 모델 이름으로 OpenAI 방식 엔드포인트 하나를 호출하고, BroadNet 키 보관, 속도 제한 적용, 사용량 기록은 프록시가 맡습니다. 그러면 앱에는 BroadNet 전용 설정이 전혀 필요 없습니다.
2. 프록시 서버
프록시용 추가 패키지를 설치하고 config.yaml을 작성하세요.
pip install 'litellm[proxy]'
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_GLM
rpm: 30
- model_name: deepseek-flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
rpm: 30
- model_name: qwen
litellm_params:
model: openai/broadnet/qwen3.8-27b
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_QWEN
rpm: 30
general_settings:
master_key: os.environ/LITELLM_MASTER_KEY
프록시를 시작하고 일반 OpenAI 엔드포인트처럼 호출하세요.
litellm --config config.yaml
# in a second terminal
curl http://localhost:4000/chat/completions \
-H "Authorization: Bearer $LITELLM_MASTER_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
curl 명령은 주석대로 두 번째 터미널에서 실행합니다.
os.environ/BROADNET_API_KEY_GLM은 그 키를 환경 변수에서 읽으라는 뜻입니다. 항목마다 별도의 BroadNet 종량제 키를 쓰므로, LiteLLM의 배포(deployment)별 선택적 속도 제한인 rpm: 30은 각 키의 한도와 같습니다. 여러 항목이 키 하나를 함께 쓰면 그 한도 하나를 나눠 쓰게 되므로, 숫자를 항목별로 나눠 설정하세요. master_key를 설정하면 프록시가 모든 호출에 키를 요구합니다. LiteLLM 문서에 따르면 이 키는 sk-로 시작해야 합니다. 프록시를 시작하기 전에 LITELLM_MASTER_KEY를 export하세요.
어떤 모델을 고를까
| model_name | BroadNet 모델 | 용도 |
|---|---|---|
glm |
GLM 5.3 | 도구, 구조화된 출력, 100만 토큰 컨텍스트 |
deepseek-flash |
DeepSeek V4.1 Flash | 긴 컨텍스트, 무제한 플랜 모델 |
qwen |
Qwen3.8 27B | 이미지, 도구, 아랍어 |
| (필요하면 추가) | Gemma 4 VL 26B | 낮은 토큰당 가격, 초기 크레딧($5 상당)으로 사용 가능 |
가격은 가격 페이지에 있습니다. 다른 게이트웨이에서 옮겨 온다면 마이그레이션 체크리스트에서 무엇을 테스트해야 하는지 확인하세요.
문제 해결
- 401. BroadNet 키가 틀렸거나 만료되었거나, 종량제 사용 가능 금액이 소진된 경우입니다. 401이 프록시 자체에서 나온 것이라면 보낸 LiteLLM 키를 확인하세요.
- Not Found.
api_base가/v1까지 포함한https://inference.broadnet.ai/v1주소인지 확인하세요. base URL이 맞다면openai/뒤의 모델 ID가 BroadNet의 ID와 정확히 같은지 확인하세요. - 새 계정에서 모델이 거부됨. GLM 5.3, Qwen3.8 27B, DeepSeek V4.1 Flash는 먼저 충전해야 합니다. 초기 크레딧($5 상당)으로는
broadnet/gemma-4-26b-a4b모델과 Transcribe 모델 두 개만 쓸 수 있습니다. - content가 비어 있음. 추론도
max_tokens에 포함됩니다. 값을 늘리거나reasoning_effort="low"를 보내세요. 답변이 비어서 오는 이유를 참고하세요. - 429. 종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용합니다. 앞의 한도는 LiteLLM의
rpm으로 맞출 수 있습니다. 동시 호출은 키당 4 건 이하로 유지하세요. 오류와 재시도를 참고하세요. - 플랜 키로 에이전트 병렬 실행. 플랜 세션 하나는 한 번에 요청 하나를 처리합니다. 세션 하나로 프록시를 거쳐 여러 에이전트를 돌리면 대기열에 쌓이므로, 병렬 에이전트마다 세션을 하나씩 구매하세요.
