Descrição
Crawlers Perl podem armazenar e verificar permissões derivadas de arquivos robots.txt. Isso ajuda automações web a decidir quais caminhos um site pede que crawlers evitem.
É uma biblioteca para desenvolvedores. Regras robots são orientação de política, não controle de acesso; scripts ainda devem respeitar limites de taxa, termos de serviço e expectativas de privacidade.