BroadRouter

LLM-as-a-judge (LLM sebagai hakim)

Dikemas kini

LLM-as-a-judge ialah kaedah penilaian di mana model bahasa menilai output model lain, sama ada memberi skor kepada satu jawapan berdasarkan rubrik atau memilih yang lebih baik antara dua jawapan. Ia menghampiri pertimbangan manusia pada kos jauh lebih rendah tetapi mempunyai bias yang diketahui, seperti memihak kepada jawapan pertama atau lebih panjang.

Juga dikenali sebagai: LLM as a judge, LLM judge, hakim LLM, model-graded eval, AI judge, LLM grader

LLM-as-a-judge menggantikan penilai manusia dengan panggilan model: berikan soalan, jawapan dan rubrik, kemudian baca skor yang dipulangkan.

Cara ia berfungsi

Kaedah ini dikaji secara mendalam oleh Zheng et al. (2023), yang membina MT-Bench (soalan berbilang giliran) dan Chatbot Arena (undian bersemuka secara crowdsourcing) untuk mengujinya. Keputusan utama mereka: GPT-4 sebagai hakim bersetuju dengan pilihan pakar dan orang ramai “at over 80%” (Terjemahan BroadRouter: “pada lebih 80%”), tahap yang sama dengan persetujuan antara manusia.

Terdapat dua susunan yang lazim:

  • Penilaian jawapan tunggal. Hakim memberi skor kepada satu output pada skala, contohnya 1 hingga 5, berdasarkan kriteria bertulis. Panduan graders OpenAI menyebutnya grader score_model yang memulangkan “a numeric score based on the prompt within the given range.” (Terjemahan BroadRouter: “skor berangka berdasarkan prompt dalam julat yang diberikan.”)
  • Perbandingan berpasangan. Hakim melihat dua jawapan kepada soalan yang sama dan memilih yang lebih baik, atau seri.

Prompt hakim biasanya merangkumi soalan asal, jawapan, jawapan rujukan jika ada, dan rubrik. Minta alasan ringkas sebelum skor, dan hadkan skor dengan output berstruktur supaya kod anda boleh menghuraikannya.

Mengapa ia penting

Penilaian manusia tidak boleh diskalakan kepada ribuan kes eval bagi setiap perubahan prompt. Hakim boleh, tetapi ia membawa bias yang diukur oleh Zheng et al.:

Bias Apa yang berlaku Mitigasi
Kedudukan Memihak kepada jawapan pertama (atau kedua) Tukar susunan dan wajibkan persetujuan
Panjang jawapan Memihak kepada jawapan yang lebih panjang Rubrik yang memberi ganjaran kepada keringkasan; had panjang
Peninggian diri Memihak kepada gaya modelnya sendiri Guna model lain sebagai hakim

Hakim juga lemah dalam menyemak matematik dan fakta yang tidak dapat disahkannya. Untuk itu, berikan hakim jawapan rujukan, atau gunakan semakan berasaskan kod. Hakim yang terlepas halusinasi memberi keyakinan palsu.

Di BroadNet Inference

BroadNet tidak menawarkan perkhidmatan penilaian yang dihoskan; anda menulis panggilan hakim sendiri terhadap endpoint chat completions. Panggilan hakim dibilkan seperti permintaan lain, jadi hakim yang membaca jawapan panjang menambah token input dan output bagi setiap kes. Anggarkan satu larian dengan kalkulator kos API LLM. Jika hakim ialah model penaakulan, beri ruang dalam max_tokens, kerana penaakulan dikira di dalamnya. Untuk proses yang lebih luas, lihat nilai LLM sebelum bertukar.

Soalan lazim

Sejauh mana tepatnya LLM-as-a-judge?

Zheng et al. mendapati GPT-4 sebagai hakim bersetuju dengan pilihan manusia lebih 80% daripada masa, kira-kira kadar yang sama manusia bersetuju sesama sendiri. Semak persetujuan pada tugas anda sendiri sebelum mempercayainya.

Patutkah hakim menggunakan model yang sama dengan model yang diuji?

Sebaik-baiknya tidak. Zheng et al. melaporkan bias peninggian diri (self-enhancement), dan panduan Anthropic menganggap model penilai yang berbeza sebagai amalan terbaik.

Bagaimanakah saya mengurangkan bias kedudukan dalam penilaian berpasangan?

Jalankan setiap perbandingan dua kali dengan susunan jawapan ditukar, dan kira kemenangan hanya jika hakim memilih jawapan yang sama pada kedua-dua kali.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity