BroadRouter

LLM-as-a-Judge(LLM による評価)

更新日

LLM-as-a-Judge とは、言語モデルが他のモデルの出力を採点する評価手法です。1 つの回答を評価基準で採点するか、2 つの回答から良いほうを選びます。人手の判断をはるかに安く近似できますが、先に出た回答や長い回答を好むなどの既知のバイアスがあります。

別名: LLM-as-a-Judge、LLM as a Judge、LLM 審査員、LLM ジャッジ、LLM による評価、モデルによる自動評価、LLM-as-a-judge、LLM judge、model-graded eval、AI judge、LLM grader

LLM-as-a-Judge は、人間の採点者をモデルの呼び出しに置き換えます。質問、回答、評価基準を渡し、スコアを読み取ります。

仕組み

この手法は Zheng ら(2023)が詳しく研究しました。検証のために、MT-Bench(マルチターンの質問)と Chatbot Arena(クラウドソーシングによる一対一の投票)を作っています。主な結果は、GPT-4 を審査員にすると、専門家とクラウドの両方の選好と “at over 80%“(訳:80% を超えて)一致し、人間同士の一致と同じ水準だったというものです。

よく使われる構成は 2 つです。

  • 単一回答の採点。 審査員が 1 つの出力を、書面の基準に沿って 1 ~ 5 などの尺度で採点します。OpenAI の grader ガイドはこれを score_model grader と呼び、“a numeric score based on the prompt within the given range.”(訳:プロンプトに基づき、指定範囲内の数値スコア)を返すとしています。
  • ペア比較。 審査員は同じ質問への 2 つの回答を見て、良いほうか引き分けを選びます。

審査用のプロンプトには通常、元の質問、回答、あれば参照解答、評価基準を入れます。スコアの前に短い理由を書かせ、コードで解析できるよう構造化出力でスコアの形式を固定してください。

なぜ重要か

プロンプトを変えるたびに何千もの評価ケースを人手で採点するのは、規模的に無理があります。審査員モデルならこなせますが、Zheng らが測定したバイアスを持ち込みます。

バイアス 起きること 対策
位置 1 番目(または 2 番目)の回答を好む 順序を入れ替え、一致を条件にする
冗長さ 長い回答を好む 簡潔さを評価する基準、長さの上限
自己優遇 自分のモデルのスタイルを好む 別のモデルを審査員にする

審査員は、自分で検証できない数学や事実の確認も苦手です。その場合は参照解答を渡すか、コードによるチェックを使ってください。ハルシネーションを見逃す審査員は、誤った安心感を与えます。

BroadNet Inference の場合

BroadNet はホスト型の採点サービスを提供していないため、審査員の呼び出しはチャット補完エンドポイントに対して自分で書きます。審査員の呼び出しも通常のリクエストと同じく課金されるため、長い回答を読む審査員はケースごとに入力トークンと出力トークンを増やします。1 回の実行にかかる費用は LLM API 料金計算ツールで見積もってください。審査員が推論モデルなら、推論(reasoning)も max_tokens に数えられるため、余裕を持たせてください。全体の進め方はモデルを乗り換える前に LLM を評価するを参照してください。

よくある質問

LLM-as-a-Judge はどれくらい正確ですか?

Zheng らは、GPT-4 を審査員にした場合、人間の選好との一致率が 80% を超え、人間同士の一致率とほぼ同じだったと報告しています。信頼する前に、自分のタスクで一致率を確認してください。

審査員は、テスト対象と同じモデルでもよいですか?

できれば避けてください。Zheng らは自己優遇バイアスを報告しており、Anthropic のガイダンスも採点には別のモデルを使うのがベストプラクティスとしています。

ペア比較での位置バイアスを減らすには?

各比較を回答の順序を入れ替えて 2 回実行し、2 回とも同じ回答が選ばれた場合だけ勝ちとしてください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く