Tokenizer

Componente che suddivide testo o altri input in unità numeriche, così un modello può elaborarli con il proprio vocabolario.

Un tokenizer trasforma parole, frammenti di parole, simboli o byte in token associati a numeri. Il modello riceve sequenze di questi identificatori al posto del testo umano diretto. La scelta del tokenizer incide su costo, lunghezza del contesto, gestione delle lingue e resa di parole rare o tecniche. Nei sistemi generativi è una parte invisibile ma decisiva, perché determina come l'informazione entra nel modello e come l'uscita viene ricostruita.