Context window

Quantità massima di testo che un modello AI può considerare in una conversazione: si misura in token e determina quante informazioni il modello tiene presenti contemporaneamente.

Un context window di 200.000 token equivale a circa 150.000 parole. Tutto ciò che cade fuori dalla finestra non esiste per il modello: non lo ricorda e non può usarlo. Per questo le conversazioni molto lunghe possono perdere coerenza. Le dimensioni sono cresciute rapidamente: da 4.000 token nel 2022 a oltre un milione nel 2024. Finestre più ampie permettono di analizzare documenti interi, ma aumentano i costi computazionali.