FICHA · AUR

r-tokenizers

Tokenização rápida e consistente de texto em linguagem natural

  • R tokenization library
  • LIBRARY
  • R
  • Só dependência
codex · reviewed · 4 de jun. de 2026 descrição em pt-br · fallback

Descrição

Texto em linguagem natural pode ser dividido em palavras, frases, n-grams, linhas e outros tokens com auxiliares R consistentes. Analistas o usam antes de mineração de texto, extração de atributos ou treinamento de modelos.

Permissões

Permissões ainda não analisadas para esta fonte.