Descrição
Tokeniza texto com rotinas rápidas de byte-pair encoding usadas para estimar ou preparar entrada para famílias de modelos da OpenAI. Ajuda desenvolvedores a contar tokens, dividir texto e entender uso de contexto de modelos antes de enviar requisições.
Use como biblioteca em ferramentas de IA. Contagem de tokens não é filtro de privacidade, então revise conteúdo, segredos e dados de usuários separadamente antes de enviar texto a serviços externos.