LLM-as-a-judge mengganti penilai manusia dengan panggilan model: beri model pertanyaan, jawaban, dan rubrik, lalu baca skornya.
Cara kerjanya
Metode ini diteliti secara mendalam oleh Zheng dkk. (2023), yang membangun MT-Bench (pertanyaan multi-giliran) dan Chatbot Arena (voting head-to-head dari crowdsourcing) untuk mengujinya. Hasil utama mereka: GPT-4 sebagai juri sepakat dengan preferensi pakar maupun crowd “at over 80%” (terjemahan: di atas 80%), setara dengan tingkat kesepakatan antar-manusia.
Ada dua setup yang umum:
- Penilaian satu jawaban. Juri memberi skor satu output pada skala tertentu, misalnya 1 sampai 5, berdasarkan kriteria tertulis. Panduan graders OpenAI menyebutnya
score_modelgrader yang mengembalikan “a numeric score based on the prompt within the given range.” (terjemahan: skor numerik berdasarkan prompt dalam rentang yang ditentukan.) - Perbandingan berpasangan. Juri melihat dua jawaban untuk pertanyaan yang sama dan memilih yang lebih baik, atau seri.
Prompt juri biasanya berisi pertanyaan asli, jawaban, jawaban referensi jika ada, dan rubrik. Minta alasan singkat sebelum skor, dan batasi skornya dengan output terstruktur agar kode Anda bisa mem-parse-nya.
Kenapa ini penting
Penilaian manusia tidak bisa diskalakan ke ribuan kasus eval setiap kali prompt berubah. Juri bisa, tetapi membawa bias yang diukur oleh Zheng dkk.:
| Bias | Apa yang terjadi | Mitigasi |
|---|---|---|
| Posisi | Lebih memilih jawaban pertama (atau kedua) | Tukar urutan dan wajibkan kesepakatan |
| Verbositas | Lebih memilih jawaban yang lebih panjang | Rubrik yang menghargai keringkasan; batas panjang |
| Self-enhancement | Lebih memilih gaya modelnya sendiri | Gunakan model lain sebagai juri |
Juri juga lemah dalam memeriksa matematika dan fakta yang tidak bisa diverifikasinya. Untuk itu, beri juri jawaban referensi, atau gunakan pemeriksaan berbasis kode. Juri yang melewatkan halusinasi memberi rasa percaya diri yang palsu.
Di BroadNet Inference
BroadNet tidak menyediakan layanan penilaian yang di-host; Anda menulis panggilan juri sendiri ke endpoint chat completions. Panggilan juri ditagih seperti request lain, jadi juri yang membaca jawaban panjang menambah token input dan output per kasus. Perkirakan biaya satu putaran dengan kalkulator biaya API LLM. Jika juri adalah model penalaran, sisakan ruang di max_tokens, karena penalaran ikut dihitung di dalamnya. Untuk proses yang lebih luas, lihat evaluasi LLM sebelum berganti.