O LLM-as-a-judge troca um avaliador humano por uma chamada a um modelo: você passa a pergunta, a resposta e uma rubrica, e recebe uma nota.
Como funciona
O método foi estudado a fundo por Zheng et al. (2023), que criaram o MT-Bench (perguntas com vários turnos) e o Chatbot Arena (votos em confrontos diretos coletados por crowdsourcing) para testá-lo. O principal resultado: o GPT-4 como juiz concordou tanto com as preferências de especialistas quanto com as do público “at over 80%” (tradução: em mais de 80% dos casos), o mesmo nível da concordância entre humanos.
Há duas configurações comuns:
- Avaliação de resposta única. O juiz dá nota a uma saída em uma escala, por exemplo de 1 a 5, com base em critérios escritos. O guia de graders da OpenAI chama isso de grader
score_model, que retorna “a numeric score based on the prompt within the given range.” (tradução: uma nota numérica baseada no prompt, dentro da faixa indicada). - Comparação aos pares. O juiz vê duas respostas para a mesma pergunta e escolhe a melhor, ou declara empate.
Um prompt de juiz normalmente inclui a pergunta original, a resposta, uma resposta de referência se você tiver e uma rubrica. Peça uma justificativa curta antes da nota e restrinja a nota com saída estruturada para o seu código conseguir ler.
Por que importa
A avaliação humana não escala para milhares de casos de eval a cada mudança de prompt. Um juiz escala, mas traz vieses que Zheng et al. mediram:
| Viés | O que acontece | Mitigação |
|---|---|---|
| Posição | Prefere a primeira (ou a segunda) resposta | Trocar a ordem e exigir concordância |
| Verbosidade | Prefere respostas mais longas | Rubrica que premia a concisão; limites de tamanho |
| Autofavorecimento | Prefere o estilo do próprio modelo | Usar um modelo diferente como juiz |
Juízes também são fracos para checar contas e fatos que não conseguem verificar. Nesses casos, dê ao juiz uma resposta de referência ou use verificações por código. Um juiz que deixa passar alucinações dá uma falsa confiança.
Na BroadNet Inference
A BroadNet não oferece um serviço de avaliação hospedado; você mesmo escreve a chamada do juiz no endpoint de chat completions. As chamadas do juiz são cobradas como qualquer requisição, então um juiz que lê respostas longas adiciona tokens de entrada e de saída por caso. Estime uma rodada com a calculadora de custo de API de LLM. Se o juiz for um modelo de raciocínio, deixe folga em max_tokens, porque o raciocínio conta nesse limite. Para o processo completo, veja avaliar um LLM antes de trocar.