Descrição
Operações tensoriais de aprendizado de máquina podem usar a versão Git do ggml com aceleração GPU via Vulkan. Isso é útil para cargas locais de IA em sistemas onde GPUs com suporte a Vulkan são preferidas em vez de CUDA.
Aceleração por GPU depende de drivers Vulkan, suporte do hardware e tamanho da carga. Teste compatibilidade de modelos, consumo de energia e comportamento térmico antes de depender disso em inferência longa.