Transformer

Architettura di rete neurale alla base dei principali modelli linguistici: elabora il testo in parallelo pesando l'importanza di ogni parola rispetto alle altre nel contesto.

Introdotta da Google nel 2017, ha sostituito le architetture precedenti che leggevano il testo in sequenza (una parola alla volta). Il meccanismo di attenzione permette al modello di collegare parole distanti nella frase, catturando relazioni che i modelli precedenti perdevano. GPT, Claude, Gemini e LLaMA sono tutti basati su varianti del transformer. Il nome stesso di GPT lo dichiara: Generative Pre-trained Transformer.