Crawler

Programma automatico che visita pagine web in sequenza: legge collegamenti, decide quali URL seguire e raccoglie contenuti per analisi o ricerca.

Un crawler, anche detto spider o bot di scansione, lavora senza intervento umano continuo: invia richieste HTTP, interpreta pagine e metadati, scopre altri indirizzi e salva ciò che serve al sistema che lo controlla. Può alimentare un motore di ricerca, verificare link rotti, creare archivi o raccogliere dati per analisi. La progettazione deve gestire duplicati, cicli, autenticazione, limiti dei server e regole dichiarate nei file robots.txt.