Descrição
Modelos locais de geração de texto em formato GGML ou GGUF podem ser servidos com uma interface compatível com KoboldAI.
É útil para rodar modelos de chat, escrita e roleplay na própria máquina em vez de depender apenas de serviços hospedados. IA local ainda processa prompts e arquivos fornecidos por você, e a saída do modelo pode ser imprecisa ou inadequada para crianças.