Token [AI]

Unità minima in cui un modello AI scompone il testo per elaborarlo. può corrispondere a una parola intera, a parte di essa o a un segno di punteggiatura.

Da non confondere con il token crypto, che rappresenta valore su blockchain. Nell'AI, il token è un frammento di testo. 'criptovaluta' può diventare due token ('cripto' e 'valuta'). I modelli hanno un limite massimo di token per conversazione (context window) che determina la quantità di testo elaborabile. I costi dei servizi AI si calcolano in base ai token consumati. i token in ingresso (il prompt) e quelli generati dalla risposta.