오픈 웨이트 모델이 공개되어도 누군가는 그 모델을 실행해야 합니다. 추론 제공업체가 바로 그 일을 하는 회사입니다.
작동 방식
제공업체는 모델 가중치를 GPU에 올리고, 요청을 배치로 묶고 메모리를 관리하는 서빙 소프트웨어를 실행하고, 그 앞에 API를 둡니다. 대부분 OpenAI 호환 API를 제공하므로 base URL, 키, 모델 ID만 바꾸면 제공업체를 전환할 수 있습니다.
이 용어는 몇 가지 사업 형태를 포괄합니다.
- 모델 개발사: 자사 모델을 직접 제공합니다.
- 독립 호스팅 업체: 여러 개발사의 오픈 웨이트 모델을 제공합니다.
- 클라우드: GPU나 관리형 엔드포인트를 대여하며, GPU 시간 단위로 과금하기도 합니다.
- 애그리게이터. Hugging Face의 Inference Providers는 토큰 하나로 “hundreds of machine learning models, powered by world-class inference providers”(번역: 세계적인 추론 제공업체가 구동하는 수백 개의 머신러닝 모델)에 접근할 수 있게 해 줍니다. LLM 라우터도 같은 방식으로 작동합니다.
API 형식이 공통이므로 같은 코드가 어느 제공업체에서나 실행됩니다. 바뀌는 값은 세 가지뿐입니다.
import os
from openai import OpenAI
msgs = [{"role": "user", "content": "Hello"}]
client = OpenAI(
base_url="https://inference.broadnet.ai/v1", # the provider
api_key=os.environ["BROADNET_API_KEY"], # its key
)
client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=msgs) # its model ID
위 코드에서 base_url은 제공업체, api_key는 그 업체의 키, model은 그 업체의 모델 ID입니다. 가격 체계도 토큰당, 오디오 분당, 시간당, 세션당 정액 등으로 제공업체마다 다릅니다.
왜 중요한가
제공업체를 고르는 일은 대부분 모델 이름만으로는 보이지 않는 트레이드오프를 고르는 일입니다.
- 데이터 처리. 보관, 로깅, 학습 활용 여부가 업체마다 다릅니다. 문서로 명시된 데이터 비보관 정책이 있는지 확인하세요.
- 실행 위치. 리전과 하위 처리자는 규정 준수에 중요합니다.
- 한도. 동시 실행 수, 속도 제한, 컨텍스트 길이가 모델의 최대치보다 낮을 수 있습니다.
- 서빙 방식. 정밀도와 서빙 설정은 속도에, 때로는 출력에도 영향을 줍니다.
- 가격 체계. 어떤 체계가 맞는지는 트래픽에 따라 다릅니다. 제공업체 가격 비교를 참고하세요.
- 가격 수준. 같은 오픈 모델도 제공업체에 따라 가격이 몇 배 차이 날 수 있습니다. 같은 모델, 다른 호스팅 가격을 참고하세요.
BroadNet Inference에서는
BroadNet Inference는 추론 제공업체입니다. 개인정보 처리 방침에 따르면 자체 모델과 호스팅하는 오픈 웨이트 모델은 “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup”(번역: 미국 내 BroadNet 소유 또는 임차 하드웨어에서 실행되며, 파트너 용량을 백업으로 사용한다), 파트너가 제공하는 모델은 미국 추론 파트너와의 데이터 비보관 조건에 따라 실행됩니다. 요청과 응답 내용은 보관되지 않습니다.
DeepSeek V4.1 Flash와 GLM 5.3을 포함한 채팅 모델, 그리고 음성 인식 모델 두 개를 https://inference.broadnet.ai/v1 주소의 OpenAI 호환 API로 제공합니다. 과금은 토큰당 또는 오디오 분당 종량제, 시간제 키, DeepSeek V4.1 Flash용 정액 플랜 중에서 고를 수 있습니다. 제공업체 체크리스트로 자신의 기준에 따라 다른 업체와 비교해 보세요.