Descrição
Inferência local de modelos grandes de linguagem pode rodar com formatos extras de quantização e aceleração de CPU via OpenBLAS.
É útil para usuários que experimentam modelos de IA offline sem enviar prompts a um serviço remoto. Modelos locais ainda podem processar texto sensível e gerar saída errada, então tratamento dos dados e revisão dos resultados importam.