Aggiunto il 24/03/2026
Token [AI]
ENToken [AI] · pl. Tokens
ITToken [AI] · gen. m. · inv.
Pezzo di testo, come una parola o una sua parte, in cui un modello AI spezza ciò che legge e scrive; serve anche a misurare la lunghezza e il costo di una richiesta.
Nel linguaggio dei modelli AI, un token può essere una parola, una parte di parola, un simbolo, un numero o un frammento di byte. Il modello lavora su sequenze di token, quindi lunghezza del prompt, costo e limiti di contesto dipendono da questa suddivisione. Lingue, segni e termini rari possono consumare quantità diverse di token. Capire questa unità aiuta a stimare spazio disponibile, costo per richiesta e tagli del testo troppo lungo.