---
title: "O que é LLM-as-a-judge? Avaliações feitas por um modelo"
description: "No LLM-as-a-judge, um modelo de linguagem avalia as saídas de outro com base em uma rubrica. Como funciona, os vieses conhecidos e como tornar as notas confiáveis."
url: https://broadrouter.com/pt/glossary/llm-as-judge/
lang: pt-BR
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduzido do inglês com ajuda de IA. [Leia o original em inglês](https://broadrouter.com/glossary/llm-as-judge/) (atualizado em 2026-11-14).

# LLM-as-a-judge (LLM como juiz)

Atualizado em 2026-11-14

LLM-as-a-judge é um método de avaliação em que um modelo de linguagem avalia saídas de outros modelos, dando nota a uma única resposta com base em uma rubrica ou escolhendo a melhor de duas. Aproxima o julgamento humano a um custo bem menor, mas tem vieses conhecidos, como favorecer a primeira resposta ou a mais longa.

Também chamado de: LLM como juiz, LLM juiz, modelo juiz, avaliação com LLM, avaliação automática com LLM, LLM-as-a-judge, LLM as a judge, LLM judge, model-graded eval, AI judge, LLM grader

O LLM-as-a-judge troca um avaliador humano por uma chamada a um modelo: você passa a pergunta, a resposta e uma rubrica, e recebe uma nota.

## Como funciona

O método foi estudado a fundo por Zheng et al. (2023), que criaram o MT-Bench (perguntas com vários turnos) e o Chatbot Arena (votos em confrontos diretos coletados por crowdsourcing) para testá-lo. O principal resultado: o GPT-4 como juiz concordou tanto com as preferências de especialistas quanto com as do público “at over 80%” (tradução: em mais de 80% dos casos), o mesmo nível da concordância entre humanos.

Há duas configurações comuns:

-   **Avaliação de resposta única.** O juiz dá nota a uma saída em uma escala, por exemplo de 1 a 5, com base em critérios escritos. O guia de graders da OpenAI chama isso de grader `score_model`, que retorna “a numeric score based on the prompt within the given range.” (tradução: uma nota numérica baseada no prompt, dentro da faixa indicada).
-   **Comparação aos pares.** O juiz vê duas respostas para a mesma pergunta e escolhe a melhor, ou declara empate.

Um prompt de juiz normalmente inclui a pergunta original, a resposta, uma resposta de referência se você tiver e uma rubrica. Peça uma justificativa curta antes da nota e restrinja a nota com [saída estruturada](https://broadrouter.com/pt/glossary/structured-output/) para o seu código conseguir ler.

## Por que importa

A avaliação humana não escala para milhares de casos de [eval](https://broadrouter.com/pt/glossary/eval/) a cada mudança de prompt. Um juiz escala, mas traz vieses que Zheng et al. mediram:

| Viés | O que acontece | Mitigação |
| --- | --- | --- |
| Posição | Prefere a primeira (ou a segunda) resposta | Trocar a ordem e exigir concordância |
| Verbosidade | Prefere respostas mais longas | Rubrica que premia a concisão; limites de tamanho |
| Autofavorecimento | Prefere o estilo do próprio modelo | Usar um modelo diferente como juiz |

Juízes também são fracos para checar contas e fatos que não conseguem verificar. Nesses casos, dê ao juiz uma resposta de referência ou use verificações por código. Um juiz que deixa passar [alucinações](https://broadrouter.com/pt/glossary/hallucination/) dá uma falsa confiança.

## Na BroadNet Inference

A BroadNet não oferece um serviço de avaliação hospedado; você mesmo escreve a chamada do juiz no endpoint de chat completions. As chamadas do juiz são cobradas como qualquer requisição, então um juiz que lê respostas longas adiciona [tokens de entrada e de saída](https://broadrouter.com/pt/glossary/input-and-output-tokens/) por caso. Estime uma rodada com a [calculadora de custo de API de LLM](https://broadrouter.com/tools/llm-api-cost-calculator/). Se o juiz for um modelo de raciocínio, deixe folga em `max_tokens`, porque o raciocínio conta nesse limite. Para o processo completo, veja [avaliar um LLM antes de trocar](https://broadrouter.com/pt/blog/evaluate-llm-before-switching/).

## Perguntas frequentes

### Qual é a precisão de um LLM como juiz?

Zheng et al. verificaram que o GPT-4 como juiz concordava com as preferências humanas em mais de 80% das vezes, mais ou menos a mesma taxa de concordância entre humanos. Verifique a concordância na sua própria tarefa antes de confiar.

### O juiz deve ser o mesmo modelo que está sendo testado?

De preferência, não. Zheng et al. relatam um viés de autofavorecimento, e as orientações da Anthropic consideram boa prática usar um modelo diferente para avaliar.

### Como reduzir o viés de posição em comparações aos pares?

Rode cada comparação duas vezes com as respostas trocadas de lugar, e conte uma vitória só se o juiz escolher a mesma resposta nas duas vezes.

## Veja também

-   [Eval (avaliação de LLM)](https://broadrouter.com/pt/glossary/eval/) (termo)
-   [Alucinação (hallucination)](https://broadrouter.com/pt/glossary/hallucination/) (termo)
-   [Saída estruturada (structured output)](https://broadrouter.com/pt/glossary/structured-output/) (termo)
-   [Temperatura (temperature)](https://broadrouter.com/pt/glossary/temperature/) (termo)
-   [Tokens de entrada e de saída](https://broadrouter.com/pt/glossary/input-and-output-tokens/) (termo)
-   [Como usar o SDK Python da OpenAI com a BroadNet Inference](https://broadrouter.com/pt/guides/openai-python-sdk/) (guia)
-   [Como avaliar um LLM antes de trocar de provedor](https://broadrouter.com/pt/blog/evaluate-llm-before-switching/) (artigo)

Teste com a sua carga de trabalho real. Contas novas começam com US$ 5 de crédito para Gemma e transcrição. DeepSeek, GLM e Qwen3.8 exigem uma recarga.

[Começar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-glossary-llm-as-judge&utm_content=page-cta) ·

**Fontes**

-   [Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv)](https://arxiv.org/abs/2306.05685)
-   [Anthropic, criar avaliações empíricas sólidas (avaliação baseada em LLM)](https://platform.claude.com/docs/en/test-and-evaluate/develop-tests)
-   [OpenAI, guia de graders (grader score\_model)](https://developers.openai.com/api/docs/guides/graders)
