Prompt Caching

Tecnica che riusa parti già elaborate di una richiesta, riducendo latenza e costo quando il testo iniziale si ripete spesso.

Quando più richieste iniziano con lo stesso contesto, il modello ripete parte del lavoro computazionale. Il prompt caching conserva la rappresentazione interna del segmento condiviso e la riusa nelle chiamate compatibili successive. È utile nelle applicazioni che inviano spesso istruzioni di sistema, documentazione o contesti lunghi. Il risparmio cresce con Prompt estesi e traffico ripetitivo. La cache deve rispettare isolamento tra utenti, scadenze e aggiornamenti dei dati.