Descrição
Aceleração de GPU por OpenCL pode ser usada para inferência LLM local em dispositivos compatíveis.
Este pacote é útil para usuários que precisam do backend OpenCL para llama.cpp em vez de CUDA, ROCm ou execução apenas por CPU. Ele é uma variante de build de inferência.
O comportamento do OpenCL varia conforme driver e hardware. Teste carregamento de modelo e desempenho antes de depender dele.