Descrição
Aceleração de GPU Intel SYCL com matemática F32 pode favorecer compatibilidade ou precisão na inferência LLM local.
Este pacote é útil para usuários que querem a variante SYCL de precisão simples do llama.cpp. Ele é uma build de inferência específica de backend, não uma fonte de modelos.
Execução F32 pode usar mais memória que F16. Confira a capacidade da GPU antes de carregar modelos grandes.