Descrição
Cria analisadores léxicos para ferramentas Ruby que precisam dividir texto de entrada em tokens. É útil para parsers, pequenas linguagens, análise de código e ferramentas de DSL.
Lexers para entrada não confiável precisam de limites claros e falhas previsíveis. Teste texto malformado, arquivos enormes, codificações e casos extremos antes de usar em ferramentas voltadas a usuários.