In-Context Learning

Capacità dei modelli linguistici di adattarsi a nuovi compiti leggendo esempi nel testo della richiesta, senza aggiornare i pesi del modello o richiedere un training separato.

Il fenomeno è emerso con GPT-3 nel 2020: mostrare al modello due o tre esempi nel prompt è sufficiente perché li replichi correttamente. In modalità zero-shot non si forniscono esempi, one-shot uno, few-shot alcuni. A differenza del fine-tuning, l'ICL non modifica i parametri del modello. I meccanismi esatti restano aperti: i modelli sembrano eseguire implicitamente una forma di gradient descent nel contesto, ma la ricerca non ha ancora raggiunto un consenso definitivo.