Transformer

Architettura neurale che elabora sequenze usando attenzione tra elementi, alla base di molti modelli linguistici moderni.

Il Transformer usa meccanismi di attention per valutare relazioni tra elementi di una sequenza, come parole o token, senza processarli solo in ordine lineare. Questa struttura ha reso più efficiente addestrare modelli grandi su testi e altri dati sequenziali. È alla base di molti sistemi di traduzione, generazione, riassunto e codice. La sua forza sta nel modellare dipendenze lontane, ma richiede molto calcolo e memoria Il contesto d'uso determina rischi, costi e valore pratico.