Red-teaming

Valutazione in cui esperti simulano abusi, errori o attacchi per trovare vulnerabilità prima del rilascio pubblico del sistema.

Il red-teaming mette un sistema sotto pressione usando comportamenti ostili o casi limite realistici. Nel software può cercare falle di sicurezza; nei sistemi AI prova prompt dannosi, aggiramenti, istruzioni ambigue, bias e risposte pericolose. L'obiettivo è scoprire problemi prima che lo facciano utenti o attaccanti. I risultati servono a migliorare filtri, dati, policy, interfacce e procedure di intervento umano o blocco automatico.