BroadRouter
시작하기

제공업체를 바꾸기 전에 LLM을 평가하는 방법

BroadNet Inference 팀 · 5분 분량 · 게시

정답이 알려진 실제 프롬프트 50~200개를 모으세요. 두 모델을 먼저 코드 검사로 채점하고, 코드로 판단할 수 없는 경우에만 LLM 심사를 쓰세요. 답변 순서를 바꿔 위치 편향을 상쇄하고, 제3의 모델 계열을 심사 모델로 쓰고, 직접 붙인 레이블로 검증하고, 비용과 지연 시간을 포함한 합격 기준을 실행 전에 정해 두세요.

모델을 바꾸기 전에 LLM을 평가하려면, 정답이 알려진 실제 프롬프트 50~200개로 두 모델을 실행하세요. 먼저 코드 검사로 채점하고, 코드로 판단할 수 없는 경우에만 편향을 줄인 LLM 심사를 쓰고, 비용과 지연 시간을 기록하고, 합격 기준을 미리 정해 두세요.

코드 변경 자체는 작습니다. OpenAI 호환 API라면 base URL과 모델 ID만 바꾸면 됩니다. 이 부분은 마이그레이션 체크리스트에서, 가격, 한도, 개인정보는 제공업체 체크리스트에서 다룹니다. 어려운 부분은 새 모델이 내 작업에서 똑같이 좋은지 아는 것입니다. 공개 리더보드는 이에 답하지 못합니다. Artificial Analysis와 대안들은 후보 목록을 만드는 용도입니다. 자체 트래픽으로 만든 작은 평가(eval) 세트는 하루나 이틀 작업으로 이 질문에 답해 줍니다.

실제 트래픽으로 평가 세트를 어떻게 만드나요?

  1. 민감 정보를 지운 뒤 사용량 로그에서 최근 요청 300~1,000개를 가져오세요.
  2. 작업 유형별로 묶으세요: 추출, 분류, 요약, 채팅 답변, 코드 편집, 도구 호출.
  3. 유형별로 10~40개를 샘플링하세요. 양이 많거나 위험도가 높은 유형은 더 많이 뽑으세요. 긴 프롬프트, 영어가 아닌 입력, 사용자가 불만을 제기한 사례를 포함하세요.
  4. 각 사례의 기대 결과를 적으세요: 정확한 값, 스키마, 통과해야 할 테스트, 또는 짧은 루브릭(“환불 기간을 언급함, 지어낸 정책 없음”).
  5. 핵심 사례에 태그를 다세요. 잘못된 청구서 합계나 유출된 지시문은 약간 나빠진 어조와 같은 무게가 아닙니다.
  6. 버전 관리에 고정하세요. 새로운 실패를 발견하면 사례를 추가하고, 모델을 좋아 보이게 하려고 사례를 지우지 마세요.

어떤 검사는 코드로, 어떤 검사는 심사 모델로 해야 하나요?

사례마다 가장 저렴하면서 믿을 수 있는 검사를 쓰세요.

작업 검사 심사 모델 필요 여부
JSON 추출 파싱됨, 스키마 검증 통과, 필드가 기대값과 같음 아니요
분류 레이블이 기대값과 같음 아니요
코드 편집 테스트 통과 아니요
도구 호출 올바른 함수, 인자 검증 통과 아니요
요약 필수 사실 포함, 원문에 없는 사실 없음 경우에 따라
채팅 답변, 어조, 유용성 루브릭 예

결정론적 검사는 비용이 들지 않고, 반복 가능하며, 아첨에 넘어가지 않습니다. 가능한 한 많은 사례를 코드 검사로 옮기세요.

LLM-as-a-Judge에서는 무엇이 잘못되나요?

LLM-as-a-Judge는 루브릭에 따라 다른 모델의 답변을 채점하는 모델입니다. MT-Bench 연구(Zheng et al.)에 따르면 강한 심사 모델은 80% 이상 사람의 선호와 일치했고, 이는 사람끼리 일치하는 비율과 비슷했습니다. 같은 논문은 설계 단계에서 대비해야 할 편향도 짚었습니다.

편향 나타나는 현상 완화 방법
위치 먼저(또는 나중에) 나온 답변을 선호 모든 쌍을 순서를 바꿔 두 번 심사하고, 둘 다 일치할 때만 승리로 셈
장황함 더 긴 답변을 선호 정확성과 간결함에 점수를 주는 루브릭, 프롬프트에서 길이 제한
자기 선호 자신의 스타일과 닮은 답변을 선호 두 후보와 다른 모델 계열을 심사 모델로 사용
약한 추론 수학이나 코드의 오류를 놓침 그런 사례에는 코드 검사를 사용

실무에서 나온 규칙이 두 가지 더 있습니다. 심사 모델을 고정하세요. 비교하는 동안 같은 모델 버전, 같은 프롬프트, temperature 0을 유지합니다. 그리고 보정하세요. 직접 3050쌍에 레이블을 붙이고 심사 모델을 돌려 본 뒤, 대부분 일치할 때만 믿으세요. Arize의 평가기 가이드도 같은 조언(“Collect 20–100 examples”(번역: 예시 20100개를 수집하라), 사람이 붙인 레이블 포함)을 하며, 큰 숫자 척도보다 pass/fail 같은 범주형 레이블을 권장합니다.

나란히 비교는 어떻게 실행하나요?

모든 사례에서 두 후보를 실행하고, 심사 모델에는 어느 쪽인지 숨기고, 순서를 바꾸고, 비용과 시간을 기록하세요.

import os, random, time, json
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
A, B = "broadnet/deepseek-v4.1-flash", "broadnet/qwen3.8-27b"
JUDGE = "broadnet/glm-5.3"  # a third family, pinned

def run(model, case):
    t0 = time.perf_counter()
    r = client.chat.completions.create(model=model, messages=case["messages"], max_tokens=4000, temperature=0)
    return {"text": r.choices[0].message.content or "", "usage": r.usage.model_dump(),
            "secs": time.perf_counter() - t0}

def judge(case, first, second):
    prompt = (f"Task:\n{case['task']}\n\nRubric:\n{case['rubric']}\n\n"
              f"Answer 1:\n{first}\n\nAnswer 2:\n{second}\n\n"
              'Reply with JSON only: {"winner": 1 or 2 or 0 for tie, "reason": "..."}')
    r = client.chat.completions.create(model=JUDGE, temperature=0, max_tokens=2000,
                                       response_format={"type": "json_object"},
                                       messages=[{"role": "user", "content": prompt}])
    return int(json.loads(r.choices[0].message.content or "{}").get("winner", 0))

def compare(case):
    a, b = run(A, case), run(B, case)
    if case.get("check"):                       # deterministic first
        return {"a_ok": case["check"](a["text"]), "b_ok": case["check"](b["text"]), "a": a, "b": b}
    w1 = judge(case, a["text"], b["text"])      # A shown first
    w2 = judge(case, b["text"], a["text"])      # B shown first
    winner = "A" if (w1, w2) == (1, 2) else "B" if (w1, w2) == (2, 1) else "tie"
    return {"winner": winner, "a": a, "b": b}

순서 바꾸기 규칙에 따라, 심사 모델이 두 위치 모두에서 선호할 때만 그 모델이 이깁니다. 결과가 어긋나면 무승부로 셉니다. 어긋난 비율 자체도 유용합니다. 비율이 높다면 심사 모델이나 루브릭이 너무 모호하다는 뜻입니다. max_tokens=4000에 주의하세요. 추론 모델에서는 생각 과정도 한도에 포함되므로, 한도가 낮으면 실패처럼 보이는 빈 답변이 나옵니다. 추론 모델이 빈 응답을 반환하는 이유를 참고하세요.

어느 정도 차이가 실제 차이인가요?

평가 점수는 표본입니다. 사례 n개에서 합격률이 p라면 표준 오차는 √(p × (1 − p) ÷ n)이고, 95% 오차 범위는 그 약 2배입니다.

사례 수 합격률 95% 오차 범위
50 80% 약 ±11포인트
100 80% 약 ±8포인트
200 80% 약 ±6포인트
400 80% 약 ±4포인트

따라서 사례 100개에서 82% 대 79%를 받은 모델이 더 낫다고 입증된 것은 아닙니다. 대신 사례별 차이를 보세요. 어떤 사례가 합격에서 불합격으로 바뀌었나요? 이것이 합계보다 더 많은 것을 알려 주며, 핵심 사례에서는 하나만 바뀌어도 전환 여부가 결정될 수 있습니다.

결정 기준은 어떻게 정해야 하나요?

결과가 기준을 흔들 수 없도록 평가를 실행하기 전에 적어 두세요. 실용적인 템플릿은 다음과 같습니다.

  1. 핵심 태그가 붙은 사례에서 회귀가 하나도 없을 것.
  2. 전체 합격률이 현재 모델보다 오차 범위 이상 낮지 않을 것.
  3. p95 지연 시간이 예산 안에 있을 것. 측정 방법은 TTFT vs 처리량을 참고하세요.
  4. 성공한 사례당 비용이 더 낮거나, 품질에 그만한 가치가 있다고 합의한 만큼만 높을 것. 월 차이는 LLM API 비용 계산기로 계산하세요.
  5. 섀도 기간: 실제 트래픽 일부를 새 모델로 보내 양쪽을 모두 기록하고, 완전히 전환하기 전에 비교하세요.

맞춤 모델을 고려하고 있다면 같은 평가 세트가 출발점이 됩니다. 프롬프트와 검색만으로 충분한 경우는 파인튜닝 전에에서 다룹니다.

BroadNet Inference의 위치

BroadNet Inference는 DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B를 포함한 여러 모델 계열을 하나의 OpenAI 호환 엔드포인트로 제공합니다. 그래서 후보 모델과 다른 계열의 심사 모델을 같은 클라이언트와 키로 실행할 수 있습니다. 모든 응답에 비용 비교용 토큰 사용량이 담기며, 새 계정은 크레딧 $5 금액으로 시작합니다. 충전하지 않으면 이 크레딧으로는 Gemma 4 VL 26B 모델만 실행할 수 있으므로, 더 큰 모델을 비교하려면 소액 충전을 계획하세요. 평가 하네스나 호스팅된 심사 도구는 포함되어 있지 않으며, 위 코드는 직접 실행해야 합니다. 아랍어 워크로드라면 아랍어용 LLM 고르기에 테스트할 항목이 정리되어 있습니다. 나란히 비교한 가격은 비교 페이지에 있습니다.

자주 묻는 질문

LLM 평가 세트에는 예시가 몇 개나 필요한가요?

큰 회귀를 잡는 데는 50개면 충분하고, 5~10포인트 정도의 차이를 보려면 200개가 필요합니다. 크기보다 범위가 중요하므로 모든 작업 유형과 이미 알고 있는 실패 사례를 포함하세요.

LLM-as-a-Judge는 믿을 만한가요?

부분적으로는 그렇습니다. MT-Bench 연구에서 강한 심사 모델은 80% 이상 사람의 선호와 일치했고, 이는 사람끼리 일치하는 비율과 비슷했습니다. 하지만 위치, 장황함, 자기 강화 편향도 보였으므로, 편향을 줄이고 표본 검사를 하세요.

심사 모델이 테스트 대상 모델과 같아도 되나요?

아닙니다. 심사 모델은 자신의 답변과 비슷한 답변을 선호하는 경향이 있습니다. 다른 모델 계열을 심사 모델로 쓰고, 비교하는 동안 한 버전으로 고정하세요.

LLM 평가에서 위치 편향이란 무엇인가요?

품질과 상관없이 심사 모델이 먼저(또는 나중에) 나온 답변을 선호하는 현상입니다. 각 쌍을 순서를 바꿔 두 번 심사하고, 두 순서의 결과가 일치할 때만 승리로 세면 해결됩니다.

같은 평가에서 비용과 지연 시간도 비교해야 하나요?

네. 평가 호출마다 토큰과 시간을 기록하세요. 점수가 2포인트 높아도 비용이나 지연 시간이 3배라면 잘못된 전환일 수 있습니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기