Descrição
Robôs web podem checar e seguir regras robots.txt a partir de aplicativos Ruby. É suporte de dependência para crawlers, onde permissões dos alvos, limites de taxa e user agents exigem revisão.
FICHA · AUR
ruby-webrobots
Ajuda a criar robôs web compatíveis com robots.txt
- Ruby robots.txt library
- LIBRARY
- RUBY
- Web
- Só dependência
codex · reviewed · 4 de jun. de 2026 descrição em
pt-br · fallback Permissões
Permissões ainda não analisadas para esta fonte.