BroadRouter

LLM-as-a-judge(LLM 평가자)

업데이트

LLM-as-a-judge는 언어 모델이 다른 모델의 출력을 채점하는 평가 방법으로, 답변 하나를 루브릭에 따라 점수 매기거나 두 답변 중 더 나은 쪽을 고릅니다. 훨씬 적은 비용으로 사람의 판단에 근접하지만, 첫 번째 답이나 더 긴 답을 선호하는 등 알려진 편향이 있습니다.

다른 이름: LLM 저지, LLM 심판, LLM 평가자, AI 평가자, 모델 기반 평가, LLM as a judge, LLM-as-a-judge, LLM judge, model-graded eval, AI judge, LLM grader

LLM-as-a-judge는 사람 채점자를 모델 호출로 바꿉니다. 질문, 답변, 루브릭을 주고 점수를 돌려받습니다.

작동 방식

이 방법은 Zheng 외(2023)가 깊이 연구했습니다. 이들은 검증을 위해 MT-Bench(멀티턴 질문)와 Chatbot Arena(크라우드소싱 일대일 투표)를 만들었습니다. 핵심 결과는 평가자로 쓴 GPT-4가 전문가와 일반 참여자의 선호 모두와 “at over 80%“(번역: 80% 이상) 일치했고, 이것이 사람끼리의 일치 수준과 같았다는 것입니다.

흔히 쓰는 구성은 두 가지입니다.

  • 단일 답변 채점. 평가자가 출력 하나를 서면 기준에 따라 1~5점 같은 척도로 채점합니다. OpenAI의 그레이더 가이드는 이를 score_model 그레이더라고 부르며, 이 그레이더는 “a numeric score based on the prompt within the given range.”(번역: 주어진 범위 안에서 프롬프트에 기반한 숫자 점수)를 반환합니다.
  • 쌍 비교. 평가자가 같은 질문에 대한 답변 두 개를 보고 더 나은 쪽을 고르거나 무승부로 판정합니다.

평가자 프롬프트에는 보통 원래 질문, 답변, 있다면 참고 답안, 그리고 루브릭이 들어갑니다. 점수 앞에 짧은 이유를 요청하고, 코드가 파싱할 수 있도록 구조화된 출력으로 점수 형식을 제한하세요.

왜 중요한가

프롬프트를 바꿀 때마다 수천 개의 eval 사례를 사람이 채점할 수는 없습니다. 평가자 모델은 가능하지만, Zheng 외가 측정한 편향을 함께 가져옵니다.

편향 현상 완화 방법
위치 첫 번째(또는 두 번째) 답을 선호 순서를 바꿔 두 번 돌리고 일치를 요구
장황함 더 긴 답을 선호 간결함에 점수를 주는 루브릭, 길이 상한
자기 선호 자기 모델의 스타일을 선호 다른 모델을 평가자로 사용

평가자는 스스로 검증할 수 없는 수학과 사실 확인에도 약합니다. 이런 경우 평가자에게 참고 답안을 주거나 코드 기반 검사를 쓰세요. 할루시네이션을 놓치는 평가자는 잘못된 확신을 줍니다.

BroadNet Inference에서는

BroadNet은 호스팅형 채점 서비스를 제공하지 않습니다. 평가자 호출은 채팅 완성 엔드포인트를 대상으로 직접 작성합니다. 평가자 호출도 일반 요청과 똑같이 청구되므로, 긴 답변을 읽는 평가자는 사례마다 입력 및 출력 토큰을 더합니다. 한 번 실행하는 비용은 LLM API 비용 계산기로 추정하세요. 평가자가 추론 모델이라면 추론도 max_tokens에 포함되므로 여유를 두세요. 전체 과정은 모델을 바꾸기 전에 LLM 평가하기를 참고하세요.

자주 묻는 질문

LLM-as-a-judge는 얼마나 정확한가요?

Zheng 외 연구에서 평가자로 쓴 GPT-4는 80% 이상 사람의 선호와 일치했으며, 이는 사람끼리 일치하는 비율과 비슷했습니다. 믿기 전에 내 작업에서 일치율을 확인하세요.

평가자 모델이 테스트 대상 모델과 같아도 되나요?

되도록 다른 모델을 쓰세요. Zheng 외 연구는 자기 선호 편향을 보고했고, Anthropic 가이드도 다른 채점 모델을 쓰는 것을 모범 사례로 꼽습니다.

쌍 비교 평가에서 위치 편향은 어떻게 줄이나요?

답변 순서를 바꿔 각 비교를 두 번 실행하고, 두 번 모두 같은 답을 골랐을 때만 승리로 세세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기