Descrição
Listas de URLs e sitemaps podem ser rastreados em lote pela linha de comando. É útil para desenvolvedores e operadores de sites que verificam links, coletam páginas ou alimentam fluxos posteriores de análise.
Crawlers podem gerar tráfego indesejado ou coletar conteúdo que você não deveria armazenar. Respeite regras do site, limites de taxa, credenciais e privacidade antes de varrer grandes conjuntos de URLs.