Descrição
Encapsula o módulo tokenize da biblioteca padrão Python preservando informação suficiente para roundtrip do código-fonte. Ajuda formatadores, codemods e ferramentas de lint a modificar tokens sem alterar texto não relacionado desnecessariamente.
Desenvolvedores usam isto como biblioteca de ferramentas de código-fonte. Reescrita de código deve ser testada com controle de versão e arquivos representativos antes de aplicar mudanças automáticas amplas.