Web Crawling

Processo automatizzato di esplorazione del web, che segue collegamenti tra pagine, scarica contenuti e aggiorna indici digitali.

Nel Web Crawling un programma parte da un gruppo di URL iniziali, visita e scarica le pagine, estrae i link e aggiunge nuove destinazioni a una coda di visita. Le policy stabiliscono priorità, frequenza di ritorno e carico accettabile sui siti. Motori di ricerca, archivi web e strumenti di controllo qualità lo impiegano per mantenere copie aggiornate del web. File robots.txt, sitemap e limiti di frequenza aiutano a rendere il processo prevedibile e rispettoso.