Web Crawling

Processo automatizzato di esplorazione del web: segue collegamenti tra pagine, scarica contenuti e aggiorna indici o archivi digitali.

Nel web crawling un programma parte da un gruppo di URL iniziali, scarica le pagine, estrae i link e aggiunge nuove destinazioni a una coda di visita. Le policy stabiliscono priorità, frequenza di ritorno e carico accettabile sui siti. Motori di ricerca, archivi web e strumenti di controllo qualità lo usano per mantenere copie aggiornate del web. File robots.txt, sitemap e limiti di frequenza aiutano a rendere il processo prevedibile e rispettoso.