Descrição
Analisa regras robots.txt a partir de código Python com suporte a convenções modernas de crawlers. Ajuda crawlers, indexadores e ferramentas de coleta a decidir quais URLs podem ou devem buscar.
A orientação do robots.txt não substitui autorização nem termos do site. Respeite atrasos de crawl, regras de acesso, expectativas de privacidade e limites legais ao construir buscadores automatizados.