Inference-Time Scaling

Strategia che migliora le risposte aumentando il calcolo durante l'inferenza, invece di affidarsi solo a modelli più grandi.

L'inference-time scaling sposta parte del miglioramento dall'addestramento alla singola risposta. Il sistema dedica più tempo e calcolo a ragionare, verificare, cercare alternative o confrontare più soluzioni prima di produrre l'output. Può aumentare la qualità su codice, matematica, pianificazione e compiti ambigui. Ogni richiesta richiede però più risorse e latenza. La configurazione conveniente dipende dal valore di una risposta corretta e dal tempo massimo accettabile.