Inference

Fase in cui un modello già addestrato elabora un input e produce una previsione, una classificazione o una risposta utilizzabile.

L'inference è il momento operativo di un modello AI. Dopo l'addestramento, il sistema riceve nuovi dati e calcola un output usando i pesi appresi. Può avvenire su server, dispositivi locali o infrastrutture specializzate. Le prestazioni dipendono da dimensione del modello, hardware, ottimizzazioni, lunghezza dell'input e requisiti di latenza. Nei prodotti commerciali è spesso la parte che determina costo per richiesta ed esperienza dell'utente.