Descrição
Modelos LLM locais podem ser servidos por uma interface TUI simples no terminal.
Este pacote binário é útil para usuários que querem escolher modelo e backend sem montar comandos de servidor manualmente. Ele é um auxiliar de serviço, não uma coleção de modelos.
Servir modelos pode expor prompts e portas de API. Restrinja o acesso de rede e monitore uso de CPU, GPU e memória.