© 2026 CryptoGlossario

GlossarioGiochiInfoSupportaTerminiPrivacy
v2.0
CryptoGlossarioLinguaggio Naturale per Business Developers
Aggiunto il 24/03/2026
🤖AI🖥️Informatica
Stato d'uso non documentato

Tokenizer

Tokenizzatore

ENTokenizer · pl. Tokenizers
ITTokenizzatore · gen. m. · pl. Tokenizzatori
NeologismoTecnico

Componente che spezza un testo in piccoli pezzi, come parole o frammenti di parola, poi trasformati in numeri, l'unico formato che un modello AI sa elaborare.

Un tokenizer trasforma parole, frammenti di parole, simboli o byte in token associati a numeri. Il modello riceve sequenze di questi identificatori al posto del testo umano diretto. La scelta del tokenizer incide su costo, lunghezza del contesto, gestione delle lingue e resa di parole rare o tecniche. Nei sistemi generativi è una parte invisibile ma decisiva, perché determina come l'informazione entra nel modello e come l'uscita viene ricostruita.

prestito adattato
uso attestato

In italiano si adatta in «Tokenizzatore».

Il termine inglese viene adattato alla grammatica italiana, per esempio in un verbo che si coniuga o in un nome con un plurale italiano. Circola stabilmente nell'italiano del settore, pur restando una parola di origine inglese.

Termini Correlati

Token [AI]

ENprestito integraleprestito integrale

🤖AI

DRL (Deep Reinforcement Learning)

ENprestito integraleprestito integrale

🤖AI🖥️Informatica

Model Weights

Pesi del modello

🤖AI🖥️Informatica

Evaluation Pipeline

Pipeline di valutazione

🤖AI🖥️Informatica

Pass@k

ENprestito integraleprestito integrale

🤖AI🖥️Informatica

Staking

ENprestito integraleprestito integrale

🤖AI💰Finanza🖥️Informatica