Inference

Fase in cui un modello AI già addestrato elabora un input e produce un risultato: e il momento in cui il modello viene effettivamente usato, distinto dalla fase di addestramento.

Durante l'addestramento il modello impara; durante l'inferenza applica cio che ha imparato. Ogni volta che si invia un prompt a un assistente AI, il modello riceve il testo, lo scompone in token, calcola la probabilità della parola successiva e genera la risposta. I costi dipendono dalla lunghezza dell'input, dell'output e dalla dimensione del modello: più e grande, migliori le risposte ma più alto il costo per richiesta.