Descrição
Inferência de modelos Transformer pode ser adicionada a programas Python com um runtime eficiente. Isso é útil para desenvolvedores que criam ferramentas de tradução, fala ou outro processamento de linguagem que precisam de execução local mais rápida que uma implementação puramente em Python.
É uma biblioteca Python, não um aplicativo independente para o usuário final. Projetos ainda precisam de arquivos de modelo compatíveis, código e atenção a requisitos de memória ou GPU.