Red-teaming

Pratica in cui esperti mettono alla prova un sistema AI simulando abusi, errori e attacchi per scoprirne vulnerabilità prima del rilascio.

Il red-teaming applicato all'AI usa tester interni o esterni per sollecitare comportamenti pericolosi, falsi o indesiderati. I partecipanti provano prompt ambigui, richieste manipolatorie, scenari limite e combinazioni di strumenti. I risultati diventano casi di addestramento, regole di sicurezza o modifiche al prodotto. È utile perché molti problemi emergono solo quando un sistema viene spinto fuori dall'uso normale, soprattutto in agenti con accesso a dati e azioni esterne.