Descrição
Texto em linguagem natural pode ser dividido em tokens com processamento baseado em regras e ciente de Unicode para vários idiomas. Ucto é útil como etapa inicial em pipelines de NLP e processamento de corpus.
Execute no shell ou chame as ferramentas de biblioteca sobre textos que você tem permissão para processar. Corpora de entrada podem conter dados pessoais, então revise saídas antes de compartilhá-las.