RLHF (Reinforcement Learning from Human Feedback)

Tecnica di addestramento che usa valutazioni umane per insegnare a un modello AI quali risposte sono utili, accurate e sicure.

Nel RLHF il modello produce risposte alternative e revisori umani indicano quali sono migliori secondo criteri desiderati. Queste preferenze addestrano un reward model, che guida poi l'ottimizzazione del modello principale. Il processo aiuta a trasformare un modello generico in un assistente capace di seguire istruzioni, evitare contenuti pericolosi e dare risposte più utili. I limiti dipendono da qualità delle etichette, bias dei revisori e definizione di comportamento desiderabile.