Descrição
Contagens de tokens para texto de modelos de linguagem podem ser calculadas a partir de Lua por um binding Rust pré-compilado do tiktoken.
Este pacote binário é útil para desenvolvedores que estimam tamanho de prompts, custos de API ou comportamento de divisão em ferramentas Lua. Ele é uma biblioteca de tokenização, não um modelo de IA.
Estimativas de tokens dependem da codificação do modelo em uso. Evite enviar texto privado a serviços externos salvo quando seu fluxo exigir.