BroadRouter
Inizia

Benchmark LLM

Aggiornato

Un benchmark LLM è un insieme fisso di compiti, di solito pubblico, con un metodo di punteggio, usato per misurare e confrontare i modelli linguistici su una capacità, come domande di conoscenza, programmazione o riconoscimento vocale. Il punteggio mostra la capacità relativa su quel test, non come andrà un modello sul tuo carico di lavoro.

Detto anche: benchmark LLM, benchmark dei modelli, benchmark IA, classifica LLM, punteggio benchmark, LLM benchmark, model benchmark, benchmark score

I lanci dei modelli arrivano con tabelle di punteggi nei benchmark. Sapere cosa misura un benchmark, e cosa non può misurare, ti evita di scegliere un modello guardando il numero sbagliato.

Come funziona

Un benchmark fissa tre cose: i compiti, il modo in cui si fa il prompt al modello e la regola di punteggio. Due esempi noti:

Benchmark Cosa testa Dimensione Punteggio
MMLU (2020) Conoscenze su “57 tasks including elementary mathematics, US history, computer science, law, and more” (57 compiti tra cui matematica elementare, storia degli Stati Uniti, informatica, diritto e altro) 57 materie Accuratezza
SWE-bench (2023) Correggere issue reali di GitHub “editing the codebase to address the issue” (modificando il codice per risolvere la issue) 2.294 problemi da 12 repository Python Quota di issue risolte

Anche il parlato ha i suoi: le classifiche ordinano i modelli di trascrizione per word error rate, dove più basso è meglio.

I benchmark invecchiano. Quando MMLU fu pubblicato, il modello GPT-3 più grande migliorava “over random chance by almost 20 percentage points on average” (traduzione: rispetto al caso di quasi 20 punti percentuali in media). Quando fu pubblicato SWE-bench, il modello migliore, Claude 2, risolveva l’1,96% delle issue. Un benchmark che un tempo distingueva bene i modelli può smettere di farlo man mano che i modelli migliorano, quindi controlla quando è stato creato e quali punteggi sono tipici oggi.

Perché è importante

  • Contaminazione. La rassegna di Xu et al. descrive la contaminazione dei dati di benchmark come il caso di modelli che “inadvertently incorporate evaluation benchmark information from their training data” (traduzione: incorporano inavvertitamente informazioni dei benchmark di valutazione dai propri dati di addestramento), con il risultato di “inaccurate or unreliable performance during the evaluation phase” (traduzione: prestazioni inaccurate o inaffidabili in fase di valutazione).
  • Copertura ristretta. Un benchmark di programmazione in Python dice poco sull’assistenza clienti in arabo. Scegli benchmark adatti al tuo compito (quale classifica misura cosa), poi conferma con una eval sui tuoi dati.
  • Le impostazioni cambiano i punteggi. Formato del prompt, esempi few-shot, budget di ragionamento e configurazione di serving spostano tutti i risultati. Confronta i punteggi solo se sono stati ottenuti nello stesso modo.
  • I giudici aggiungono i propri bias. I benchmark a risposta aperta usano spesso un LLM come giudice; controlla quale giudice e quale rubrica sono stati usati.

L’articolo valutare un LLM prima di cambiarlo mostra come costruire un piccolo set di test dal tuo traffico.

Su BroadNet Inference

BroadNet pubblica alcuni numeri di benchmark propri; considerali dichiarati da BroadNet. Per BroadNet Transcribe Arabic (basato su Cohere Transcribe), BroadNet riporta un word error rate di 21,1 sul parlato dialettale di MASC e di 3,8 su FLEURS Arabic, e indica una posizione #2 su 37 (dato di settembre 2026; la classifica in tempo reale lo indicava #4 su 39 il 15 novembre 2026) nella Open Universal Arabic ASR Leaderboard. Per Gemma 4 VL 26B, BroadNet riporta una valutazione alla cieca con tre giudici su 240 conversazioni di produzione, in cui il modello ha eguagliato Claude Sonnet in 5 dei 6 passaggi della pipeline del chatbot di BroadNet. È la pipeline di una sola azienda, non un benchmark generale. Esegui la tua eval prima di impegnarti; il credito iniziale di $5 copre Gemma 4 VL 26B ed entrambi i modelli di trascrizione.

Domande frequenti

Che differenza c’è tra un benchmark e una eval?

Un benchmark è un test pubblico condiviso che permette a molti team di confrontare i modelli. Una eval è il tuo set di test, costruito con i tuoi prompt reali e valutato su ciò che serve al tuo prodotto. Usa i benchmark per la rosa dei candidati e le eval per decidere.

Cos’è la contaminazione dei benchmark?

Succede quando le domande del test, o copie molto simili, finiscono nei dati di addestramento di un modello. Il modello può allora ottenere un buon punteggio ricordando invece che ragionando, e il punteggio sopravvaluta le sue capacità.

I punteggi dichiarati dai vendor sono affidabili?

Trattali come affermazioni. Controlla quale versione del benchmark, quali impostazioni e quali prompt sono stati usati, se qualcuno ha riprodotto il risultato e se una classifica pubblica mostra la stessa cosa.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity