Transformer Inference

Esecuzione di un'architettura neurale già addestrata per generare testo, codice, immagini o predizioni da nuovi input utente.

La transformer inference è la fase in cui un modello addestrato riceve un input e calcola l'output. Nei modelli linguistici include tokenizzazione, attenzione, generazione progressiva e gestione della memoria. Le prestazioni dipendono da dimensione del modello, hardware, batch, cache e tecniche di quantizzazione. Ottimizzare l'inferenza riduce latenza e costo, rendendo possibile servire molti utenti in tempo reale. Conta il contesto d'uso e la funzione economica o tecnica concreta.