Descrição
Tokeniza código-fonte Python 3.12 ou mais novo rapidamente seguindo a especificação da linguagem. Ajuda linters, formatadores, analisadores e ferramentas de editor a entender sintaxe Python no nível de tokens.
Tokenização é análise, não execução. Ferramentas que a usam ainda precisam tratar código-fonte inválido, parcial ou não confiável de forma robusta.