FICHA · MANJARO

sentencepiece

Tokenizador não supervisionado para geração de texto neural

  • cli-tool
  • Linha de comando
  • AI
  • LANGUAGE
  • Abre direto
  • Roda no terminal
  • Mesmo app · 2 fontes
codex · reviewed · 4 de jun. de 2026 descrição em pt-br · fallback

Descrição

Tokenização de texto não supervisionada pode ser adicionada a fluxos de geração neural de texto e processamento de linguagem. É suporte de desenvolvimento para pré-processamento de modelos e treinamento de vocabulário.

Como rodar

spm_train

Comandos: spm_train

Permissões

Permissões ainda não analisadas para esta fonte.