Prompt Injection

Attacco ai sistemi AI in cui input malevolo inganna il modello facendogli ignorare le istruzioni originali e seguire quelle dell'attaccante, aggirando i filtri di sicurezza.

Nel prompt injection diretto, l'utente incorpora istruzioni nascoste nel testo inviato al modello. Nel tipo indiretto, l'attacco arriva da contenuti esterni che il modello legge, come email, pagine web o documenti. un agente AI che naviga può ricevere ordini da testo malevolo. OWASP classifica il prompt injection come rischio numero 1 per le applicazioni AI. Le difese includono la separazione tra istruzioni di sistema e input utente, il sandboxing dei tool e la validazione dei contesti fidati.