Pass@k

Metrica che misura se un modello produce almeno una soluzione corretta entro un numero definito di tentativi generati nel contesto specifico.

Pass@k viene usata per valutare modelli che possono generare più risposte allo stesso problema, soprattutto nel coding e nel reasoning. Il test conta come superato se almeno una tra le k soluzioni proposte è corretta. Un valore alto indica capacità di trovare la risposta giusta con campionamenti multipli, ma non garantisce che la prima uscita sia affidabile. Per questo va letta insieme a costo, selezione della risposta e qualità dei casi di test.