Descrição
Regras de exclusão para crawlers podem ser analisadas e comparadas por uma biblioteca C++ de robots.txt. É suporte de desenvolvimento, não um aplicativo independente, para software de busca, crawling e indexação web.
FICHA · AUR
robotstxt
Parser C++ de robots.txt do Google
- robots.txt C++ library
- LIBRARY
- Web
- PARSER
- Só dependência
codex · reviewed · 4 de jun. de 2026 descrição em
pt-br · fallback Permissões
Permissões ainda não analisadas para esta fonte.