Transformer

Architettura di rete neurale che elabora sequenze con meccanismi di attenzione, alla base dei principali modelli linguistici moderni.

Il transformer è stato introdotto nel 2017 e ha sostituito molte architetture che leggevano il testo in modo sequenziale. Il meccanismo di attenzione pesa le relazioni tra token anche distanti, permettendo al modello di collegare parti diverse del contesto. Questa struttura si parallelizza bene su GPU e scala su grandi dataset. GPT, Claude, Gemini e LLaMA usano varianti del transformer. Il vantaggio è combinare capacità linguistica, scalabilità e adattabilità a molti compiti.