Inferenza (AI)

Fase in cui un modello AI gia addestrato elabora un input e produce un risultato: e il momento in cui il modello viene effettivamente usato, distinto dalla fase di addestramento.

Durante l'addestramento il modello impara; durante l'inferenza applica cio che ha imparato. Ogni volta che si invia un prompt a un assistente AI, il modello riceve il testo, lo scompone in token, calcola la probabilita della parola successiva e genera la risposta. I costi dipendono dalla lunghezza dell'input, dell'output e dalla dimensione del modello: piu e grande, migliori le risposte ma piu alto il costo per richiesta.