Descrição
Código atual de aceleração Vulkan fica disponível para fluxos de inferência local com llama.cpp.
Este pacote Git é útil para testadores ou usuários que precisam das mudanças Vulkan mais recentes antes de um release estável. Ele é uma build de inferência, não um pacote de modelos.
Builds Vulkan em desenvolvimento podem ser sensíveis a drivers. Teste a estabilidade e evite expor portas de API locais sem intenção.