Context Window

Quantità massima di testo o dati che un modello AI può considerare insieme durante una singola elaborazione nel contesto specifico.

La context window definisce lo spazio operativo del modello in token. Dentro questo limite devono stare istruzioni, conversazione, documenti recuperati, esempi e risposta in generazione. Una finestra più ampia permette di usare più contesto, ma non garantisce attenzione perfetta a ogni dettaglio. Testi troppo lunghi possono diluire informazioni importanti o aumentare costi e latenza. Per questo serve selezionare il materiale rilevante, non solo aggiungerne di più.