Descrição
Aceleração Vulkan pré-compilada torna mais simples testar inferência LLM local em GPUs compatíveis.
Este pacote binário é útil para usuários que querem executáveis llama.cpp prontos com otimizações Vulkan. Ele inclui ferramentas de inferência, não arquivos de modelo.
Inferência por GPU Vulkan depende de drivers e pode usar bastante VRAM. Proteja portas de servidores locais e prompts privados.