Descrição
Ferramentas legadas em PHP 5.6 podem dividir código-fonte PHP em tokens para análise, formatação, documentação ou verificações de compatibilidade. Isso ajuda linters, geradores de código, auxiliares de migração e scripts de refatoração a entender código antigo.
É uma extensão para desenvolvedores. Tokenizar código não é o mesmo que provar que ele é seguro, então segurança e comportamento ainda precisam de revisão separada ao migrar aplicações.