Red-teaming

Pratica in cui un gruppo di esperti tenta deliberatamente di far fallire un sistema AI per scoprirne vulnerabilita, errori e comportamenti pericolosi prima che raggiunga gli utenti.

Il nome viene dalla pratica militare: il 'red team' simula l'avversario per testare le difese. Nell'AI, i red teamer sottopongono il modello a prompt provocatori, ambigui o manipolatori per verificare se produce contenuti dannosi o falsi. I risultati alimentano il miglioramento: ogni vulnerabilita scoperta diventa un caso di addestramento. Anthropic, OpenAI e Google investono in programmi di red-teaming interni ed esterni.