Benchmark [AI]

Test standardizzato che misura capacità di un modello in aree come logica, matematica, programmazione o linguaggio naturale.

Un benchmark propone compiti con risposte verificabili e produce un punteggio confrontabile tra modelli. MMLU misura conoscenze generali, HumanEval la scrittura di codice e MATH il ragionamento matematico. Un modello può però migliorare sul test senza diventare più utile nell'uso reale, soprattutto quando i dati di valutazione entrano nell'addestramento. Per questo servono prove aggiornate, controlli contro la contaminazione e valutazioni legate a compiti pratici.