BroadRouter

LLM-as-a-judge (LLM come giudice)

Aggiornato

LLM-as-a-judge è un metodo di valutazione in cui un modello linguistico giudica gli output di altri modelli, dando un punteggio a una singola risposta secondo una rubrica oppure scegliendo la migliore tra due. Approssima il giudizio umano a un costo molto più basso, ma ha bias noti, come preferire la prima risposta o quella più lunga.

Detto anche: LLM come giudice, LLM giudice, modello giudice, valutazione con LLM, valutazione automatica con LLM, LLM-as-a-judge, LLM as a judge, LLM judge, model-graded eval, AI judge, LLM grader

LLM-as-a-judge sostituisce un valutatore umano con una chiamata a un modello: gli dai la domanda, la risposta e una rubrica, e ricevi un punteggio.

Come funziona

Il metodo è stato studiato a fondo da Zheng et al. (2023), che per testarlo hanno costruito MT-Bench (domande a più turni) e Chatbot Arena (voti testa a testa raccolti in crowdsourcing). Il risultato principale: GPT-4 come giudice concordava sia con le preferenze degli esperti sia con quelle del pubblico “at over 80%” (traduzione: in oltre l’80% dei casi), lo stesso livello di concordanza tra esseri umani.

Ci sono due configurazioni comuni:

  • Valutazione della singola risposta. Il giudice dà un punteggio a un output su una scala, per esempio da 1 a 5, secondo criteri scritti. La guida ai grader di OpenAI lo chiama grader score_model, che restituisce “a numeric score based on the prompt within the given range.” (traduzione: un punteggio numerico basato sul prompt, entro l’intervallo indicato).
  • Confronto a coppie. Il giudice vede due risposte alla stessa domanda e sceglie la migliore, oppure il pareggio.

Un prompt per il giudice di solito include la domanda originale, la risposta, una risposta di riferimento se ce l’hai e una rubrica. Chiedi una breve motivazione prima del punteggio, e vincola il punteggio con un output strutturato così il tuo codice può leggerlo.

Perché è importante

La valutazione umana non scala a migliaia di casi di eval per ogni modifica al prompt. Un giudice sì, ma porta con sé bias che Zheng et al. hanno misurato:

Bias Cosa succede Mitigazione
Posizione Preferisce la prima (o la seconda) risposta Inverti l’ordine e richiedi concordanza
Prolissità Preferisce le risposte più lunghe Rubrica che premia la sintesi; limiti di lunghezza
Auto-favoritismo Preferisce lo stile del proprio modello Usa un modello diverso come giudice

I giudici sono deboli anche nel controllare calcoli e fatti che non possono verificare. In quei casi, dai al giudice una risposta di riferimento oppure usa controlli via codice. Un giudice che non vede le allucinazioni dà una falsa sicurezza.

Su BroadNet Inference

BroadNet non offre un servizio di valutazione ospitato; scrivi tu la chiamata al giudice verso l’endpoint chat completions. Le chiamate del giudice si pagano come qualsiasi richiesta, quindi un giudice che legge risposte lunghe aggiunge token di input e di output per ogni caso. Stima il costo di un’esecuzione con il calcolatore dei costi delle API LLM. Se il giudice è un modello di ragionamento, lascia margine in max_tokens, perché il ragionamento ci rientra. Per il processo completo, vedi valutare un LLM prima di cambiarlo.

Domande frequenti

Quanto è accurato un LLM come giudice?

Zheng et al. hanno rilevato che GPT-4 usato come giudice concordava con le preferenze umane in oltre l’80% dei casi, più o meno la stessa percentuale con cui gli umani concordano tra loro. Verifica la concordanza sul tuo compito prima di fidarti.

Il giudice deve essere lo stesso modello che sto testando?

Meglio di no. Zheng et al. riportano un bias di auto-favoritismo, e le indicazioni di Anthropic considerano buona pratica usare un modello diverso per valutare.

Come riduco il bias di posizione nei confronti a coppie?

Esegui ogni confronto due volte invertendo l’ordine delle risposte, e conta una vittoria solo se il giudice sceglie la stessa risposta entrambe le volte.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity