Descrição
Operações tensoriais de aprendizado de máquina podem usar a versão Git do ggml com aceleração NVIDIA CUDA. Isso é útil para desenvolvedores e ferramentas locais de IA que precisam de inferência ou experimentação com GPU em hardware NVIDIA compatível.
Bibliotecas de ML aceleradas por GPU dependem de drivers, compatibilidade CUDA e carga do modelo. Espere maior consumo de energia e teste estabilidade antes de depender disso em tarefas longas.