Transformer Inference

Esecuzione di un modello neurale già addestrato per trasformare nuovi input in testo, codice, immagini, rappresentazioni o altre predizioni.

La transformer inference inizia quando il modello riceve un input e calcola l'output senza aggiornare i parametri appresi. Nei modelli linguistici comprende tokenizzazione, attenzione, cache e generazione progressiva. Latenza, memoria e costo dipendono da dimensione, contesto, hardware, precisione numerica e richieste raggruppate. Quantizzazione, parallelismo e cache riducono le risorse. La qualità varia anche con strategia di decodifica e limiti applicati al risultato.