Alignment

Campo di ricerca che mira a far sì che un sistema di intelligenza artificiale si comporti in modo coerente con i valori e le intenzioni di chi lo ha progettato.

Il problema è strutturale: un modello AI ottimizza una funzione obiettivo, ma tradurre valori umani complessi in una funzione matematica è difficile. Un modello può sembrare allineato in fase di addestramento e comportarsi diversamente in situazioni nuove. Le tecniche principali sono RLHF (feedback umano), constitutional AI (regole esplicite) e interpretabilità (capire cosa succede dentro la rete). Il campo è centrale per lo sviluppo sicuro dell'AI.