Token [AI]

Unità in cui un modello AI scompone testo o dati, usata per leggere input, generare output e calcolare il contesto disponibile.

Nel linguaggio dei modelli AI, un token può essere una parola, una parte di parola, un simbolo, un numero o un frammento di byte. Il modello lavora su sequenze di token, quindi lunghezza del prompt, costo e limiti di contesto dipendono da questa suddivisione. Lingue, segni e termini rari possono consumare quantità diverse di token. Capire questa unità aiuta a stimare spazio disponibile, costo per richiesta e tagli del testo troppo lungo.