Token (AI)

Unità minima in cui un modello AI scompone il testo per elaborarlo: può corrispondere a una parola intera, a parte di essa o a un segno di punteggiatura.

Da non confondere con il token crypto, che rappresenta valore su blockchain. Nell'AI, il token è un frammento di testo: 'criptovaluta' può diventare due token ('cripto' e 'valuta'). I modelli hanno un limite massimo di token per conversazione (context window) che determina la quantità di testo elaborabile. I costi dei servizi AI si calcolano in base ai token consumati: i token in ingresso (il prompt) e quelli generati dalla risposta.