Descrição
Fornece o Ollama com suporte a Vulkan para executar modelos de linguagem por drivers de GPU compatíveis. A aceleração Vulkan pode ampliar o suporte de hardware além de uma única pilha de fornecedor.
Use quando CUDA ou ROCm não são o caminho adequado e o sistema tem suporte Vulkan apropriado. Desempenho e compatibilidade dependem do driver, da GPU, do tamanho do modelo e da memória disponível.