Benchmark [AI]

Test standardizzato che misura capacità di un modello AI in aree come logica, matematica, programmazione o linguaggio naturale.

Un benchmark propone compiti con risposte verificabili e produce un punteggio confrontabile tra modelli. MMLU misura conoscenza generale, HumanEval la scrittura di codice, MATH il ragionamento matematico. Il limite è che un modello può migliorare su un test senza diventare più utile nell'uso reale, soprattutto se i dati di valutazione entrano nel training. Per questo servono benchmark aggiornati, controlli anti-contaminazione e valutazioni legate a compiti pratici.