Descrição
Tokenização orientada a enums pode ser configurada para fluxos de parsing em Python. Esta biblioteca é para desenvolvedores que criam pequenos parsers ou streams de tokens estruturados. O tokenizer fornece estrutura e deixa validação semântica para chamadores.