Crawler

Programma automatico che visita pagine o risorse in sequenza, raccogliendo contenuti, link e metadati per analisi o indicizzazione.

Un crawler esplora il web o un insieme di risorse seguendo collegamenti e regole di scansione. Può alimentare motori di ricerca, archivi, strumenti SEO, monitoraggi, dataset o controlli di sicurezza. Deve gestire limiti di frequenza, duplicati, errori, robots.txt e formati diversi. Un crawler ben progettato rispetta i siti visitati, conserva informazioni utili e evita cicli infiniti o carichi eccessivi su servizi esterni nel tempo.