Descrição
Links quebrados ficam mais fáceis de encontrar em documentação, sites estáticos e páginas públicas por meio de um crawler rápido. É útil para desenvolvedores e mantenedores validarem conteúdo publicado.
Crawlers podem gerar tráfego e tocar URLs com tokens privados se receberem páginas sensíveis. Limite o escopo e respeite políticas do site ao verificar domínios externos.