BroadRouter

LLM como juez (LLM-as-a-judge)

Actualizado

LLM como juez (LLM-as-a-judge) es un método de evaluación en el que un modelo de lenguaje califica las salidas de otros modelos, ya sea puntuando una respuesta según una rúbrica o eligiendo la mejor de dos. Se aproxima al juicio humano a un costo mucho menor, pero tiene sesgos conocidos, como favorecer la primera respuesta o la más larga.

También llamado: LLM como juez, LLM juez, evaluación con LLM, juez de IA, calificador LLM, LLM-as-a-judge, LLM as a judge, LLM judge, model-graded eval, AI judge, LLM grader

LLM-as-a-judge sustituye al evaluador humano por una llamada a un modelo: le da la pregunta, la respuesta y una rúbrica, y lee la puntuación que devuelve.

Cómo funciona

Zheng et al. (2023) estudiaron el método a fondo y crearon MT-Bench (preguntas de varios turnos) y Chatbot Arena (votos colectivos en enfrentamientos directos) para ponerlo a prueba. Su resultado principal: GPT-4 como juez coincidió con las preferencias tanto de expertos como del público “at over 80%” (traducción: en más del 80 %), el mismo nivel de acuerdo que entre humanos.

Hay dos configuraciones habituales:

  • Calificación de una sola respuesta. El juez puntúa una salida en una escala, por ejemplo de 1 a 5, según criterios escritos. La guía de graders de OpenAI lo llama un grader score_model que devuelve “a numeric score based on the prompt within the given range.” (traducción: una puntuación numérica basada en el prompt dentro del rango indicado).
  • Comparación por pares. El juez ve dos respuestas a la misma pregunta y elige la mejor, o declara un empate.

Un prompt de juez suele incluir la pregunta original, la respuesta, una respuesta de referencia si la tiene y una rúbrica. Pida una breve justificación antes de la puntuación y restrinja la puntuación con salida estructurada para que su código pueda procesarla.

Por qué importa

La calificación humana no escala a miles de casos de evaluación por cada cambio de prompt. Un juez sí, pero trae sesgos que Zheng et al. midieron:

Sesgo Qué ocurre Mitigación
Posición Prefiere la primera (o la segunda) respuesta Intercambiar el orden y exigir acuerdo
Verbosidad Prefiere respuestas más largas Rúbrica que premie la brevedad; límites de longitud
Autopromoción Prefiere el estilo de su propio modelo Usar otro modelo como juez

Los jueces también fallan al comprobar matemáticas y hechos que no pueden verificar. Para eso, dé al juez una respuesta de referencia o use comprobaciones basadas en código. Un juez que no detecta alucinaciones da una falsa sensación de confianza.

En BroadNet Inference

BroadNet no ofrece un servicio de calificación alojado; usted escribe la llamada al juez contra el endpoint de chat completions. Las llamadas al juez se cobran como cualquier solicitud, así que un juez que lee respuestas largas añade tokens de entrada y salida por caso. Estime el costo de una ejecución con la calculadora de costos de APIs de LLM. Si el juez es un modelo de razonamiento, deje margen en max_tokens, porque el razonamiento cuenta para ese límite. Para el proceso completo, consulte evaluar un LLM antes de cambiar.

Preguntas frecuentes

¿Qué tan preciso es LLM-as-a-judge?

Zheng et al. encontraron que GPT-4 como juez coincidía con las preferencias humanas más del 80 % de las veces, aproximadamente la misma tasa con la que coinciden los humanos entre sí. Compruebe el acuerdo en su propia tarea antes de confiar en él.

¿El juez debe ser el mismo modelo que se evalúa?

Preferiblemente no. Zheng et al. reportan un sesgo de autopromoción, y la guía de Anthropic considera buena práctica usar un modelo calificador distinto.

¿Cómo reduzco el sesgo de posición en comparaciones por pares?

Ejecute cada comparación dos veces intercambiando el orden de las respuestas, y cuente una victoria solo si el juez elige la misma respuesta las dos veces.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity