Tokenizer

Componente che divide testo o altri input in token prima che un modello AI li elabori, definendo le unità del suo vocabolario.

Ogni modello usa un tokenizer con regole proprie. Una parola può diventare un token unico, più frammenti o una combinazione diversa in base alla lingua e al vocabolario. Questa divisione influenza costi, limiti di contesto e prestazioni, perché i modelli contano token invece di parole. Un tokenizer efficiente per l'italiano usa meno unità per la stessa frase. Lingue, codice, emoji e testi misti possono comportarsi in modo molto diverso da modello a modello.