Model Routing

Tecnica che indirizza ogni richiesta al modello di intelligenza artificiale più adatto, bilanciando qualità, costo, latenza e vincoli operativi.

Nel Model Routing un componente valuta prompt, contesto e requisiti della chiamata, poi sceglie tra modelli grandi, piccoli, specializzati o di provider diversi. La scelta può basarsi su regole, classificatori, benchmark o router addestrati. Serve a evitare che ogni richiesta usi sempre il modello più costoso e permette di adattare la risposta al compito. È usato nelle applicazioni LLM per governare trade-off tra prestazioni, spesa, privacy e disponibilità.