Descrição
Modelos de linguagem locais podem usar hardware gráfico compatível com Vulkan para inferência de IA. Isso ajuda usuários a testar aceleração por GPU em sistemas onde Vulkan é o backend preferido.
É uma variante binária do Ollama. Desempenho e compatibilidade dependem da GPU, dos drivers, do tamanho do modelo e da memória disponível.