Descrição
Páginas web podem ser rastreadas pela linha de comando com uma ferramenta no estilo Unix que se encaixa em pipelines de shell. É útil para desenvolvedores e administradores que verificam links, coletam URLs ou alimentam etapas posteriores de processamento.
Crawlers podem gerar tráfego indesejado e coletar conteúdo sensível. Respeite regras robots, limites de taxa, barreiras de autenticação e privacidade antes de varrer um site.