LLM-as-a-judge sustituye al evaluador humano por una llamada a un modelo: le da la pregunta, la respuesta y una rúbrica, y lee la puntuación que devuelve.
Cómo funciona
Zheng et al. (2023) estudiaron el método a fondo y crearon MT-Bench (preguntas de varios turnos) y Chatbot Arena (votos colectivos en enfrentamientos directos) para ponerlo a prueba. Su resultado principal: GPT-4 como juez coincidió con las preferencias tanto de expertos como del público “at over 80%” (traducción: en más del 80 %), el mismo nivel de acuerdo que entre humanos.
Hay dos configuraciones habituales:
- Calificación de una sola respuesta. El juez puntúa una salida en una escala, por ejemplo de 1 a 5, según criterios escritos. La guía de graders de OpenAI lo llama un grader
score_modelque devuelve “a numeric score based on the prompt within the given range.” (traducción: una puntuación numérica basada en el prompt dentro del rango indicado). - Comparación por pares. El juez ve dos respuestas a la misma pregunta y elige la mejor, o declara un empate.
Un prompt de juez suele incluir la pregunta original, la respuesta, una respuesta de referencia si la tiene y una rúbrica. Pida una breve justificación antes de la puntuación y restrinja la puntuación con salida estructurada para que su código pueda procesarla.
Por qué importa
La calificación humana no escala a miles de casos de evaluación por cada cambio de prompt. Un juez sí, pero trae sesgos que Zheng et al. midieron:
| Sesgo | Qué ocurre | Mitigación |
|---|---|---|
| Posición | Prefiere la primera (o la segunda) respuesta | Intercambiar el orden y exigir acuerdo |
| Verbosidad | Prefiere respuestas más largas | Rúbrica que premie la brevedad; límites de longitud |
| Autopromoción | Prefiere el estilo de su propio modelo | Usar otro modelo como juez |
Los jueces también fallan al comprobar matemáticas y hechos que no pueden verificar. Para eso, dé al juez una respuesta de referencia o use comprobaciones basadas en código. Un juez que no detecta alucinaciones da una falsa sensación de confianza.
En BroadNet Inference
BroadNet no ofrece un servicio de calificación alojado; usted escribe la llamada al juez contra el endpoint de chat completions. Las llamadas al juez se cobran como cualquier solicitud, así que un juez que lee respuestas largas añade tokens de entrada y salida por caso. Estime el costo de una ejecución con la calculadora de costos de APIs de LLM. Si el juez es un modelo de razonamiento, deje margen en max_tokens, porque el razonamiento cuenta para ese límite. Para el proceso completo, consulte evaluar un LLM antes de cambiar.