LLM-as-a-judge sostituisce un valutatore umano con una chiamata a un modello: gli dai la domanda, la risposta e una rubrica, e ricevi un punteggio.
Come funziona
Il metodo è stato studiato a fondo da Zheng et al. (2023), che per testarlo hanno costruito MT-Bench (domande a più turni) e Chatbot Arena (voti testa a testa raccolti in crowdsourcing). Il risultato principale: GPT-4 come giudice concordava sia con le preferenze degli esperti sia con quelle del pubblico “at over 80%” (traduzione: in oltre l’80% dei casi), lo stesso livello di concordanza tra esseri umani.
Ci sono due configurazioni comuni:
- Valutazione della singola risposta. Il giudice dà un punteggio a un output su una scala, per esempio da 1 a 5, secondo criteri scritti. La guida ai grader di OpenAI lo chiama grader
score_model, che restituisce “a numeric score based on the prompt within the given range.” (traduzione: un punteggio numerico basato sul prompt, entro l’intervallo indicato). - Confronto a coppie. Il giudice vede due risposte alla stessa domanda e sceglie la migliore, oppure il pareggio.
Un prompt per il giudice di solito include la domanda originale, la risposta, una risposta di riferimento se ce l’hai e una rubrica. Chiedi una breve motivazione prima del punteggio, e vincola il punteggio con un output strutturato così il tuo codice può leggerlo.
Perché è importante
La valutazione umana non scala a migliaia di casi di eval per ogni modifica al prompt. Un giudice sì, ma porta con sé bias che Zheng et al. hanno misurato:
| Bias | Cosa succede | Mitigazione |
|---|---|---|
| Posizione | Preferisce la prima (o la seconda) risposta | Inverti l’ordine e richiedi concordanza |
| Prolissità | Preferisce le risposte più lunghe | Rubrica che premia la sintesi; limiti di lunghezza |
| Auto-favoritismo | Preferisce lo stile del proprio modello | Usa un modello diverso come giudice |
I giudici sono deboli anche nel controllare calcoli e fatti che non possono verificare. In quei casi, dai al giudice una risposta di riferimento oppure usa controlli via codice. Un giudice che non vede le allucinazioni dà una falsa sicurezza.
Su BroadNet Inference
BroadNet non offre un servizio di valutazione ospitato; scrivi tu la chiamata al giudice verso l’endpoint chat completions. Le chiamate del giudice si pagano come qualsiasi richiesta, quindi un giudice che legge risposte lunghe aggiunge token di input e di output per ogni caso. Stima il costo di un’esecuzione con il calcolatore dei costi delle API LLM. Se il giudice è un modello di ragionamento, lascia margine in max_tokens, perché il ragionamento ci rientra. Per il processo completo, vedi valutare un LLM prima di cambiarlo.