BroadRouter

LLM-as-a-judge (LLM juge)

Mis à jour

LLM-as-a-judge est une méthode d’évaluation dans laquelle un modèle de langage note les sorties d’autres modèles, soit en évaluant une réponse unique selon une grille, soit en choisissant la meilleure de deux réponses. Elle approche le jugement humain pour un coût bien moindre, mais présente des biais connus, comme une préférence pour la première réponse ou la plus longue.

Aussi appelé : LLM-as-a-judge, LLM juge, LLM comme juge, juge IA, évaluation par un LLM, eval notée par un modèle, LLM as a judge, LLM judge, model-graded eval, AI judge, LLM grader

LLM-as-a-judge remplace un correcteur humain par un appel de modèle : donnez-lui la question, la réponse et une grille, et récupérez un score.

Comment ça marche

La méthode a été étudiée en profondeur par Zheng et al. (2023), qui ont construit MT-Bench (questions sur plusieurs tours) et Chatbot Arena (votes participatifs en face-à-face) pour la tester. Leur principal résultat : GPT-4 en juge rejoignait les préférences des experts comme de la foule « at over 80% » (traduction : « à plus de 80 % »), le même niveau que l’accord entre humains.

Deux configurations sont courantes :

  • Notation d’une réponse unique. Le juge note une sortie sur une échelle, par exemple de 1 à 5, selon des critères écrits. Le guide des graders d’OpenAI appelle cela un grader score_model, qui renvoie « a numeric score based on the prompt within the given range » (traduction : « un score numérique fondé sur le prompt, dans la plage donnée »).
  • Comparaison par paires. Le juge voit deux réponses à la même question et choisit la meilleure, ou déclare une égalité.

Un prompt de juge contient en général la question d’origine, la réponse, une réponse de référence si vous en avez une, et une grille. Demandez une courte justification avant le score, et contraignez le score avec une sortie structurée pour que votre code puisse le parser.

Pourquoi c’est important

La notation humaine ne passe pas à l’échelle de milliers de cas d’eval à chaque modification de prompt. Un juge, si, mais il apporte des biais que Zheng et al. ont mesurés :

Biais Ce qui se passe Parade
Position Préfère la première (ou la seconde) réponse Inverser l’ordre et exiger l’accord
Verbosité Préfère les réponses longues Grille qui récompense la concision ; plafonds de longueur
Auto-complaisance Préfère le style de son propre modèle Utiliser un autre modèle comme juge

Les juges sont aussi faibles pour vérifier des calculs et des faits qu’ils ne peuvent pas contrôler. Dans ces cas, donnez au juge une réponse de référence ou utilisez des vérifications par code. Un juge qui laisse passer les hallucinations donne une fausse assurance.

Sur BroadNet Inference

BroadNet ne propose pas de service de notation hébergé : vous écrivez vous-même l’appel au juge sur l’endpoint de chat completions. Les appels au juge sont facturés comme n’importe quelle requête : un juge qui lit de longues réponses ajoute des tokens d’entrée et de sortie à chaque cas. Estimez un passage avec le calculateur de coût d’API LLM. Si le juge est un modèle de raisonnement, laissez de la marge dans max_tokens, car le raisonnement est décompté. Pour le processus complet, voir évaluer un LLM avant de changer.

Questions fréquentes

LLM-as-a-judge est-il fiable ?

Zheng et al. ont constaté que GPT-4 utilisé comme juge était d’accord avec les préférences humaines dans plus de 80 % des cas, à peu près au même niveau que les humains entre eux. Vérifiez l’accord sur votre propre tâche avant de vous y fier.

Le juge doit-il être le même modèle que celui qu’on teste ?

De préférence, non. Zheng et al. rapportent un biais d’auto-complaisance, et les recommandations d’Anthropic qualifient de bonne pratique l’usage d’un modèle de notation différent.

Comment réduire le biais de position dans une comparaison par paires ?

Lancez chaque comparaison deux fois en inversant les réponses, et ne comptez une victoire que si le juge choisit la même réponse les deux fois.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity