LLM API 제공업체를 고르려면 후보마다 여섯 영역으로 점수를 매기세요. 실제 워크로드의 월 비용, 속도·동시성 한도, OpenAI 호환성, 데이터 보관과 학습 조건, 필요한 모델, 지원과 안정성입니다. 그런 다음 상위 두 곳을 1주일 동안 실제 트래픽으로 테스트하세요. 아래에 20가지 질문, 점수표, 테스트 계획을 정리했습니다.
선택한 뒤의 전환 자체는 마이그레이션 체크리스트에서, 품질 테스트는 모델 전환 전 LLM 평가하는 법에서 자세히 다룹니다.
실제 비용은 얼마인가요? (질문 1~4)
- 실제 워크로드의 월 비용은 얼마인가요? 입력, 캐시된 입력, 출력을 각각 따로 계산하세요. 무료 LLM API 비용 계산기가 모델별로 계산해 줍니다. 에이전트는 같은 컨텍스트를 반복해서 보내므로 캐시된 입력이 비용의 대부분을 차지하는 경우가 많습니다. 가격 설명 글에서 항목별로 살펴봅니다.
- 추론 토큰이 출력으로 과금되나요? 추론 모델은 답변보다 생각하는 데 토큰을 더 많이 쓸 수 있습니다.
- 정액 옵션이 있나요? 상시 동작하는 에이전트라면 정액 플랜이 토큰당 과금보다 유리할 수 있습니다. 손익분기점 계산을 참고하세요.
- 가격이 기계 판독 가능하고 날짜가 표시되어 있나요? JSON 가격 파일이 있으면 변경을 추적하고 비용 알림을 만들 수 있습니다.
저희의 공개 데이터셋 LLM API 무료 등급과 속도 제한은 제공업체 14곳이 무료 이용, 초기 속도 제한, 카드 등록 요건, 무료 등급 데이터의 학습 사용에 대해 공개한 내용을 값마다 출처와 날짜를 붙여 비교합니다.
어떤 한도에 먼저 걸리나요? (질문 5~7)
- 분당 요청 수와 동시성 한도는 얼마인가요? 병렬 에이전트와 배치 작업을 멈추게 하는 것은 동시성(진행 중인 요청 수)입니다. 속도 제한과 동시성을 참고하고, 속도 제한 계산기로 트래픽을 한도에 맞춰 보세요.
- 토큰 상한, 롤링 윈도, 주간 할당량이 있나요? “무제한” 플랜에는 이런 제한이 있는 경우가 많습니다. 무제한의 진짜 의미를 읽어 보세요.
- 컨텍스트 윈도는 얼마이며, 잘리지는 않나요? 요청당 실제 최대치와, 제공업체가 긴 프롬프트를 알리지 않고 잘라 내는지 확인하세요.
기존 코드와 얼마나 호환되나요? (질문 8~10)
- OpenAI와 호환되며, 어디까지 호환되나요? base URL 변경만으로 동작해야 합니다. 그다음 usage를 포함한 스트리밍, 도구 호출, 구조화된 출력, 오류 코드를 테스트하세요. 깨지는 항목은 마이그레이션 체크리스트에 정리되어 있습니다.
- 쓰고 있는 도구와 함께 동작하나요? SDK, 에이전트 프레임워크, IDE 어시스턴트입니다. 제공업체의 연동 가이드를 확인하세요.
- 모델 ID가 안정적인가요? 버전이 붙은 ID와, 모델 지원 종료 전 사전 공지가 필요합니다.
데이터는 어떻게 처리되나요? (질문 11~13)
- 프롬프트와 출력이 저장되나요, 저장된다면 얼마 동안인가요? 많은 제공업체가 기본적으로 API 콘텐츠를 최대 30일 보관합니다. 공식 문구는 LLM API 데이터 보관 정책 비교에서 비교하세요.
- 데이터가 학습에 사용되나요? 사용 중인 등급의 기본값을 서면으로 확인하세요.
- DPA를 체결하고, 하위 처리자를 확인하고, 키를 제한할 수 있나요? EU 개인정보를 처리한다면 GDPR 체크리스트를 활용하고, IP 허용 목록을 요청하세요.
필요한 모델이 있나요? (질문 14~16)
- 필요한 모델 크기와 기능이 있나요? 비전, 도구 호출, 추론, 긴 컨텍스트, 음성입니다.
- 각 모델이 내 작업에서 얼마나 잘하나요? 실제 테스트 케이스 30~50개를 만들어 점수를 매기세요. 벤치마크는 1차 필터일 뿐입니다. LLM을 비교할 수 있는 곳에 리더보드와 각각이 측정하는 내용을 정리했습니다. 평가 가이드는 테스트 세트를 만들고 심사 모델의 편향을 피하는 방법을 보여 줍니다.
- 오픈 웨이트인가요, 클로즈드인가요? 오픈 웨이트 모델은 여러 제공업체가 호스팅할 수 있어 종속이 줄어듭니다. 오픈 웨이트 vs 클로즈드 모델을 참고하세요.
안정적으로 운영되며, 누가 응대하나요? (질문 17~20)
- 상태 페이지와 장애 이력이 있나요?
- 프로덕션용 서면 SLA가 있나요?
- GPU는 누가 운영하나요? 자체 하드웨어, 클라우드, 또는 다른 API의 용량 재판매인지 확인하세요. 각각 데이터와 안정성 경로에 당사자를 하나씩 더합니다.
- 사람과 어떻게 연락하나요? 응답 시간, 채널, 그리고 지원팀이 요청 내용을 볼 수 있는지 확인하세요.
제공업체끼리 점수는 어떻게 비교하나요?
질문마다 0점(아니요 또는 모름), 1점(일부), 2점(예, 서면으로 확인)을 매기세요. 사용 사례에 맞게 그룹별 가중치를 두세요.
| 그룹 | 질문 | 에이전트용 가중치 | 규제 대상 앱용 가중치 |
|---|---|---|---|
| 가격 | 1~4 | 높음 | 중간 |
| 한도 | 5~7 | 높음 | 중간 |
| 호환성 | 8~10 | 중간 | 중간 |
| 개인정보 | 11~13 | 중간 | 높음 |
| 모델 | 14~16 | 높음 | 높음 |
| 지원과 안정성 | 17~20 | 중간 | 높음 |
“모름”이 0점인 데는 이유가 있습니다. 제공업체가 답하지 못한다면 그 부분은 믿을 수 없습니다.
1주일 안에 제공업체를 어떻게 테스트하나요?
- 점수표에서 상위 두 곳을 고르세요.
- 같은 OpenAI SDK로 실제 트래픽 일부를 각각에 보내고, 모델 ID와 base URL은 설정에 두세요.
- 요청마다 모델, 프롬프트 토큰, 캐시된 토큰, completion 토큰, 지연 시간, 상태 코드를 기록하세요. 내용은 절대 기록하지 마세요.
- 피크를 만들어 보세요. 배치 작업이나 병렬 에이전트를 돌리고 429가 나오는지 지켜보세요. 올바른 백오프는 오류와 재시도 가이드에 있습니다.
- 1주일 토큰에 약 4.3을 곱해 제공업체별 월 비용을 계산하세요.
- 테스트 세트로 출력에 점수를 매기세요.
BroadNet Inference의 체크리스트 답변
| # | BroadNet Inference |
|---|---|
| 1, 4 | 토큰당 가격을 pricing.json에 공개, 2026-11-14 동기화 |
| 3 | DeepSeek V4.1 Flash 정액 플랜: 세션당 월 $60, 주 $15, 시간당 $1 |
| 5 | 종량제: 분당 요청 30회, 동시 진행 4건. 플랜 세션은 한 번에 요청 1개 |
| 6 | 플랜: 토큰 계량 없음, 롤링 윈도 없음, 주간 상한 없음 |
| 7 | DeepSeek V4.1 Flash와 GLM 5.3에서 최대 1,048,576 토큰. 플랜 페이지에 따르면 컨텍스트는 절대 잘리지 않음 |
| 8 | https://inference.broadnet.ai/v1 주소의 OpenAI 호환 API |
| 11, 12 | 프롬프트와 출력을 보관하지 않음. 모델 학습, 파인튜닝, 평가에 사용하지 않음 |
| 13 | IP 허용 목록 최대 32개. 하위 처리자 목록은 요청 시 제공. DPA는 문의 |
| 14 | 채팅 모델 4개와 음성 인식(STT) 모델 2개 |
| 19 | BroadNet 개인정보 처리방침에 따르면 자체 모델과 호스팅 오픈 웨이트 모델은 미국 내 BroadNet 소유 또는 임차 하드웨어에서 실행, 백업으로 파트너 용량. DeepSeek V4.1 Flash처럼 파트너가 서비스하는 모델은 데이터 비보관(ZDR) 조건으로 미국 추론 파트너에서 실행 |
BroadNet의 문서나 플랜 페이지에서 찾지 못한 항목(2026년 11월 14일 확인): SLA, 상태 페이지, 모델 지원 종료 정책입니다. 중요하다면 요청하시고, 핵심 경로에는 두 번째 제공업체를 두세요. 카탈로그도 애그리게이터보다 작습니다. GPT, Claude, Gemini 모델이 필요하다면 그 트래픽에는 BroadNet이 맞지 않습니다. 초기 크레딧 $5 금액은 가벼운 워크로드라면 테스트 계획 3단계에 충분하지만, 채팅 모델 중에서는 Gemma 4 VL 26B에서만 쓸 수 있습니다(Transcribe 모델 두 개에도 쓸 수 있습니다). 다른 채팅 모델은 충전이 필요합니다.

