Descrição
Servidores locais de modelos podem trocar modelos automaticamente em fluxos com llama.cpp ou compatíveis com OpenAPI.
Este pacote binário é útil para desenvolvedores e usuários de IA local que executam vários modelos, mas querem controlar o uso de recursos. Ele coordena a disponibilidade dos modelos; não é um modelo por si só.
Troca de modelos pode expor endpoints de API locais e consumir bastante disco, memória ou GPU. Proteja portas e revise fontes dos modelos.