LLM API를 비교할 때 Artificial Analysis를 가장 먼저 찾는 경우가 많습니다. 제공업체마다 실제 요청 시간을 재기 때문입니다. 하지만 이는 하나의 관점일 뿐입니다. 다른 사이트들은 사람 투표, 벤치마크 점수, 사용량, 가격으로 순위를 매기며, 각각 다른 질문에 답합니다. 이 가이드는 각 사이트가 무엇을 어떻게 측정하는지, 어떤 데이터를 가져갈 수 있는지, 언제 쓰면 좋은지 정리합니다. 아래의 모든 사실은 2026년 11월 15일에 각 사이트의 자체 페이지에서 읽은 것입니다.
먼저 밝혀 둘 점이 있습니다. BroadRouter는 BroadNet의 자체 웹사이트입니다. 개발자를 BroadNet Inference로 안내하고 가격 데이터를 공개합니다. 모델 벤치마크는 하지 않으며, 이 목록에는 가격 때문에만 등장합니다.
Artificial Analysis는 무엇을 잘하나요?
Artificial Analysis는 스스로를 “Independent analysis of AI”(번역: AI에 대한 독립적 분석)라고 소개합니다. 방법론 페이지는 다른 곳에서는 드물게 하는 세 가지를 설명합니다.
- 제공업체 엔드포인트별 속도. 출력 속도는 “output tokens per second over each request’s full duration”(번역: 각 요청 전체 시간 동안의 초당 출력 토큰 수)이며 추론 토큰을 포함하고, “over the workloads we measured in the past 5 days”(번역: 최근 5일간 측정한 워크로드에 대해) 평균을 냅니다. 한 모델이 “may have multiple endpoints across different providers”(번역: 여러 제공업체에 걸쳐 여러 엔드포인트를 가질 수 있음)이므로, 같은 모델이 호스트에 따라 더 빠르게 도는 것을 볼 수 있습니다.
- 비교 가능한 지연 시간. 첫 토큰까지의 시간, 첫 답변 토큰까지의 시간(추론을 포함하므로 추론 모델과 비추론 모델을 공정하게 비교 가능), 전체 소요 시간을 보고합니다.
- 자체 평가. Intelligence Index v5.0.1은 동일한 가중치의 네 그룹(지식 업무, 코딩, 과학, 일반)에 걸친 평가 9개를 결합합니다. 그중 몇 개는 자체 벤치마크이거나 다른 곳의 과제를 직접 실행한 것이며, 반복 횟수가 명시되어 있습니다.
제공업체 리더보드는 “over 500 AI Model endpoints”(번역: AI 모델 엔드포인트 500개 이상)를 다루며, 과제당 비용, 과제당 시간, 첫 답변 토큰 지연 시간, 오류율, 컨텍스트 윈도, 라이선스를 보여 줍니다. 가격은 “the current prices listed by providers”(번역: 제공업체가 게시한 현재 가격)이며, 혼합 가격은 캐시 적중, 입력, 출력 토큰을 7:2:1 비율로 계산합니다. 워크로드가 출력 중심이라면 이 비율을 머릿속에서 바꿔 생각하세요.
제공업체별로 측정한 속도와 오류율이 필요하다면 대체하기 어렵습니다. 대안을 찾는 것은 다른 신호가 필요할 때입니다. 사람의 선호, 특정 도메인, 내려받을 수 있는 원본 데이터, 또는 모든 행에 출처가 붙은 가격표입니다.
Artificial Analysis의 대안에는 무엇이 있나요?
| 사이트 | 측정 대상 | 방법 | 가져갈 수 있는 데이터 | 적합한 용도 |
|---|---|---|---|---|
| Artificial Analysis | 지능 지수, 출력 속도, 지연 시간, 오류율, 엔드포인트별 가격 | 자체 평가와 시간 측정 요청 실행, 5일 이동 속도 기간 | 무료 API, 출처 표시 필수 | 제공업체별 속도와 지연 시간 |
| Arena(구 LMArena) | 사람의 선호 | 익명의 두 모델이 답하고 사람이 투표, 이후 이름 공개 | Hugging Face의 공개 선호 데이터셋 | 사람이 느끼는 답변의 인상 |
| Epoch AI Benchmarking Hub | 시간에 따른 벤치마크 점수 | 일부는 Inspect로 직접 실행, 나머지는 공식 리더보드에서 수집 | CSV와 Python 클라이언트, 자체 데이터는 CC BY | 추세와 원본 점수 |
| Vals AI | 도메인 정확도, 비용, 지연 시간 | 벤치마크 42개, 일부는 비공개 또는 보류 세트 | 벤치마크 페이지에 명시 없음 | 법률, 금융, 세무 등 도메인 |
| OpenRouter 순위 | 사용량 | OpenRouter를 통해 처리된 토큰, UTC 일 단위 집계 | 가격이 포함된 공개 모델 API | 개발자들이 실제로 쓰는 모델 |
| Open LLM Leaderboard(Hugging Face) | 오픈 웨이트 모델 점수 | Eleuther AI 하네스의 벤치마크 6개 | 결과 및 요청 데이터셋 | 오픈 체크포인트 비교 |
| BroadRouter 가격 데이터(BroadNet의 사이트) | 공개된 가격만 | 각 제공업체 자체 가격 페이지에서 URL, 날짜, 인용문과 함께 수집 | CSV와 JSON, 편집물은 CC BY 4.0 | 가격을 출처에서 확인 |
Arena는 무엇이 다른가요?
Arena(lmarena.ai는 이제 arena.ai로 리디렉션됨)는 실제 사람에게 익명의 두 답변을 비교해 하나를 고르게 합니다. 모델 이름은 투표 후에만 공개됩니다. 이것이 측정하는 것은 선호이며, 정확성에 어조, 길이, 형식이 섞여 있습니다. 리더보드에는 Text, WebDev, Vision, Document, Search 등 별도 보드가 있고, Pareto 보기에서는 과제당 비용을 보여 줍니다. Arena는 선호 데이터를 Hugging Face에 오픈소스로 공개했다고 밝히므로, 순위만 읽지 않고 투표 자체를 연구하고 싶을 때 유용합니다.
채팅 답변이 사람들에게 어떻게 받아들여지는지 볼 때 쓰세요. API 제공업체를 고르는 데는 쓰지 마세요. 호스트가 아니라 모델의 순위를 매기며, 특정 엔드포인트의 속도에 대해서는 알려 주지 않습니다.
Epoch AI와 Vals AI가 더 적합한 경우는?
Epoch AI는 벤치마크 결과 데이터베이스를 운영하며, 저희가 확인했을 때 벤치마크 99개와 모델 428개를 추적하고 있었습니다. 일부 결과는 Inspect 프레임워크로 직접 실행하고, 나머지는 벤치마크 제작자가 운영하는 공식 리더보드에서 가져옵니다. 데이터는 CSV로 내려받거나 Python 클라이언트로 쓸 수 있습니다. 자체 데이터는 CC BY에 따라 출처를 밝히면 자유롭게 재사용할 수 있고, 외부에서 가져온 결과는 원래 라이선스를 따릅니다. 단일 지수가 아니라 원본 점수나 추세선이 필요할 때 Epoch를 고르세요.
Vals AI는 법률, 금융, 의료, 코딩, 수학 등에 걸친 벤치마크 42개를 실행하며, 일부 세트는 비공개 또는 보류 세트라서 모델이 테스트 데이터로 학습했을 위험을 줄여 줍니다. 리더보드는 정확도, 비용, 지연 시간을 비교하고, Inference Provider Index는 제공업체를 정확도, 비용, 속도로 비교합니다. 종합 지수인 Vals Index는 미국 GDP에서 차지하는 비중에 따라 산업별 가중치를 둡니다. 작업이 그 도메인 중 하나와 비슷하다면 Vals를 고르세요.
OpenRouter 순위는 실제로 무엇을 보여 주나요?
사용량입니다. 각 모델은 “tokens it processed through the OpenRouter API”(번역: OpenRouter API를 통해 처리한 토큰)로, 프롬프트와 completion을 합쳐 최근 1일, 7일, 30일 기준으로 순위가 매겨집니다. 페이지는 순위가 “do not rank models by accuracy, reasoning ability, or benchmark performance”(번역: 정확도, 추론 능력, 벤치마크 성능으로 모델 순위를 매기지 않음)라고 분명히 밝힙니다. 긴 답변을 쓰거나 긴 에이전트 루프에서 도는 모델이 표에서 올라갑니다. 인기 신호이자 테스트해 볼 만한 모델 목록으로 읽으세요. OpenRouter에는 모델별 가격이 담긴 공개 모델 엔드포인트도 있는데, 이는 각 호스트가 직접 받는 가격이 아니라 OpenRouter가 받는 가격입니다.
Hugging Face Open LLM Leaderboard는 아직 쓸 만한가요?
오픈 웨이트 체크포인트라면 주의해서 쓸 만합니다. Hugging Face 문서에 따르면 첫 번째 버전은 2024년 6월에 아카이브되고 교체되었습니다. 현재 버전은 Eleuther AI 평가 하네스에서 IFEval, BBH, MATH level 5, GPQA, MuSR, MMLU-Pro로 모델을 채점하고, 결과를 데이터셋으로 공개합니다. 호스팅된 API가 아니라 모델 파일을 평가하므로, 가격, 속도, 제공업체가 모델을 어떻게 서비스하는지는 알 수 없습니다.
아랍어 모델은 어디서 비교하나요?
일반 리더보드는 아랍어에 대해 알려 주는 것이 거의 없고, Arena의 보이는 필터에도 언어 항목이 없습니다. Hugging Face Space 두 곳이 그 공백을 일부 메웁니다.
- 아랍어 텍스트용으로는 OALL 조직이 운영하는 Open Arabic LLM Leaderboard.
- 음성 인식용으로는 “a benchmark for open-source multi-dialect Arabic ASR models”(번역: 오픈소스 다방언 아랍어 ASR 모델용 벤치마크)라고 소개하는 Open Universal Arabic ASR Leaderboard. BroadNet에 따르면 자사 Transcribe Arabic 모델은 이 리더보드에서 37개 중 2위 (2026년 9월 기준 수치이며, 2026년 11월 15일 실시간 리더보드에서는 39개 중 4위) 순위입니다. 이는 BroadNet의 수치이며, 보드는 모델이 추가되면서 바뀝니다.
음성 결과는 평균만 보지 말고 방언별로 읽으세요. 방법은 아랍어 ASR 단어 오류율 설명에 있습니다.
BroadRouter의 가격 데이터는 어디에 쓰나요?
BroadRouter는 세 가지 가격 자료를 공개합니다. 모델별 LLM API 가격 페이지, 중앙값과 분포를 담은 가격 지수, 그리고 제공업체 가격 원본 데이터베이스입니다. 모든 행은 제공업체 자체 가격 페이지에서 읽어 출처 URL, 날짜, 원문 인용과 함께 저장하며, 주간 스크립트가 출처를 다시 가져옵니다. 애그리게이터 피드는 쓰지 않습니다.
하지 않는 일도 그만큼 중요합니다.
- 속도, 지연 시간, 가동률, 품질은 측정하지 않습니다. 이런 항목은 Artificial Analysis, Arena, Epoch AI, Vals AI를 쓰세요.
- 제3자 가격만 담습니다. BroadNet 자체 가격은 pricing.json과 가격 페이지에 있습니다.
- BroadNet의 사이트입니다. 따라서 중립적인 심판이 아니라, 행 단위로 검증할 수 있는 업체의 편집물로 다루세요.
이 사이트들을 어떻게 조합해야 하나요?
- 품질로 후보를 좁히세요. 채팅 느낌은 Arena, 도메인별 과제 점수는 Epoch AI나 Vals AI로 보세요. 모델 3~5개를 남기세요.
- 실제로 쓸 호스트에서 속도를 확인하세요. Artificial Analysis가 엔드포인트별 속도와 지연 시간을 보여 줍니다. 앱에 어떤 수치가 중요한지는 LLM 지연 시간 설명에서 다룹니다.
- 가격은 출처에서 확인하세요. 가격 데이터베이스로 제공업체를 찾은 뒤, 각 제공업체의 자체 페이지를 여세요. 많은 워크로드에서 입력보다 청구액을 더 크게 움직이는 캐시된 입력과 출력 가격을 주의 깊게 보세요.
- 자체 데이터로 테스트하세요. 최종 후보마다 실제 입력 50~100개를 돌려 점수를 매기세요. 벤치마크는 과제가 내 작업과 닮은 만큼만 결과를 예측합니다. 방법은 모델 전환 전 LLM 평가하는 법에 있고, 한도, 개인정보, 지원은 20가지 제공업체 체크리스트에서 다룹니다.
BroadNet Inference의 위치
BroadNet Inference는 리더보드가 아니라 OpenAI 호환 API입니다. DeepSeek V4.1 Flash(파트너 호스팅), GLM 5.3, Qwen3.8 27B, Gemma 4 VL 26B와 음성 인식(STT) 모델 2개라는 소수의 모델을 제공합니다. 도구 호출과 구조화된 출력은 GLM 5.3과 Qwen3.8 27B에 대해서만 문서화되어 있습니다. 셀프서비스 계정에는 SLA가 없고, batch API나 임베딩도 없습니다. 이 모델 중 하나가 후보에 오른다면, 초기 크레딧 $5 금액으로 Gemma 4 VL 26B, Transcribe 모델 두 개, Gemma 시간제 키를 쓸 수 있으므로 결제 전에 자체 입력으로 4단계를 실행할 수 있습니다. DeepSeek, GLM, Qwen은 충전이 필요합니다. 프롬프트와 답변은 보관되지 않습니다. 모델을 비교하거나 계정을 만드세요.
