---
title: "LLM-as-a-Judge とは？LLM による自動評価を解説 | BroadRouter"
description: "LLM-as-a-Judge は、ある言語モデルの出力を別のモデルが評価基準に沿って採点する手法です。仕組み、既知のバイアス、スコアの信頼性を高める方法を解説します。"
url: https://broadrouter.com/ja/glossary/llm-as-judge/
lang: ja
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。[英語の原文を読む](https://broadrouter.com/glossary/llm-as-judge/)（2026-11-14 更新）。

# LLM-as-a-Judge（LLM による評価）

更新日 2026-11-14

LLM-as-a-Judge とは、言語モデルが他のモデルの出力を採点する評価手法です。1 つの回答を評価基準で採点するか、2 つの回答から良いほうを選びます。人手の判断をはるかに安く近似できますが、先に出た回答や長い回答を好むなどの既知のバイアスがあります。

別名： LLM-as-a-Judge、LLM as a Judge、LLM 審査員、LLM ジャッジ、LLM による評価、モデルによる自動評価、LLM-as-a-judge、LLM judge、model-graded eval、AI judge、LLM grader

LLM-as-a-Judge は、人間の採点者をモデルの呼び出しに置き換えます。質問、回答、評価基準を渡し、スコアを読み取ります。

## 仕組み

この手法は Zheng ら（2023）が詳しく研究しました。検証のために、MT-Bench（マルチターンの質問）と Chatbot Arena（クラウドソーシングによる一対一の投票）を作っています。主な結果は、GPT-4 を審査員にすると、専門家とクラウドの両方の選好と “at over 80%“（訳：80% を超えて）一致し、人間同士の一致と同じ水準だったというものです。

よく使われる構成は 2 つです。

-   **単一回答の採点。** 審査員が 1 つの出力を、書面の基準に沿って 1 ～ 5 などの尺度で採点します。OpenAI の grader ガイドはこれを `score_model` grader と呼び、“a numeric score based on the prompt within the given range.”（訳：プロンプトに基づき、指定範囲内の数値スコア）を返すとしています。
-   **ペア比較。** 審査員は同じ質問への 2 つの回答を見て、良いほうか引き分けを選びます。

審査用のプロンプトには通常、元の質問、回答、あれば参照解答、評価基準を入れます。スコアの前に短い理由を書かせ、コードで解析できるよう[構造化出力](https://broadrouter.com/ja/glossary/structured-output/)でスコアの形式を固定してください。

## なぜ重要か

プロンプトを変えるたびに何千もの[評価](https://broadrouter.com/ja/glossary/eval/)ケースを人手で採点するのは、規模的に無理があります。審査員モデルならこなせますが、Zheng らが測定したバイアスを持ち込みます。

| バイアス | 起きること | 対策 |
| --- | --- | --- |
| 位置 | 1 番目（または 2 番目）の回答を好む | 順序を入れ替え、一致を条件にする |
| 冗長さ | 長い回答を好む | 簡潔さを評価する基準、長さの上限 |
| 自己優遇 | 自分のモデルのスタイルを好む | 別のモデルを審査員にする |

審査員は、自分で検証できない数学や事実の確認も苦手です。その場合は参照解答を渡すか、コードによるチェックを使ってください。[ハルシネーション](https://broadrouter.com/ja/glossary/hallucination/)を見逃す審査員は、誤った安心感を与えます。

## BroadNet Inference の場合

BroadNet はホスト型の採点サービスを提供していないため、審査員の呼び出しはチャット補完エンドポイントに対して自分で書きます。審査員の呼び出しも通常のリクエストと同じく課金されるため、長い回答を読む審査員はケースごとに[入力トークンと出力トークン](https://broadrouter.com/ja/glossary/input-and-output-tokens/)を増やします。1 回の実行にかかる費用は [LLM API 料金計算ツール](https://broadrouter.com/tools/llm-api-cost-calculator/)で見積もってください。審査員が推論モデルなら、推論（reasoning）も `max_tokens` に数えられるため、余裕を持たせてください。全体の進め方は[モデルを乗り換える前に LLM を評価する](https://broadrouter.com/ja/blog/evaluate-llm-before-switching/)を参照してください。

## よくある質問

### LLM-as-a-Judge はどれくらい正確ですか？

Zheng らは、GPT-4 を審査員にした場合、人間の選好との一致率が 80% を超え、人間同士の一致率とほぼ同じだったと報告しています。信頼する前に、自分のタスクで一致率を確認してください。

### 審査員は、テスト対象と同じモデルでもよいですか？

できれば避けてください。Zheng らは自己優遇バイアスを報告しており、Anthropic のガイダンスも採点には別のモデルを使うのがベストプラクティスとしています。

### ペア比較での位置バイアスを減らすには？

各比較を回答の順序を入れ替えて 2 回実行し、2 回とも同じ回答が選ばれた場合だけ勝ちとしてください。

## 関連項目

-   [評価（eval、LLM evaluation）](https://broadrouter.com/ja/glossary/eval/)（用語）
-   [ハルシネーション（hallucination）](https://broadrouter.com/ja/glossary/hallucination/)（用語）
-   [構造化出力（Structured Outputs）](https://broadrouter.com/ja/glossary/structured-output/)（用語）
-   [temperature（温度）](https://broadrouter.com/ja/glossary/temperature/)（用語）
-   [入力トークンと出力トークン（input and output tokens）](https://broadrouter.com/ja/glossary/input-and-output-tokens/)（用語）
-   [OpenAI Python SDK を BroadNet Inference で使う](https://broadrouter.com/ja/guides/openai-python-sdk/)（ガイド）
-   [プロバイダーを乗り換える前に LLM を評価する方法](https://broadrouter.com/ja/blog/evaluate-llm-before-switching/)（記事）

実際のワークロードで試してください。新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-glossary-llm-as-judge&utm_content=page-cta) ·

**出典**

-   [Zheng ほか、Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena（arXiv）](https://arxiv.org/abs/2306.05685)
-   [Anthropic、強力な実証的評価の作成（LLM ベースの採点）](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)
-   [OpenAI、grader ガイド（score\_model grader）](https://developers.openai.com/api/docs/guides/graders)
