Descrição
Fornece o Ollama com suporte a CUDA para executar modelos de linguagem em GPUs NVIDIA compatíveis. A aceleração por GPU pode tornar a inferência local mais rápida que a execução apenas em CPU.
Use quando o sistema tem driver NVIDIA compatível e memória de GPU suficiente para os modelos escolhidos. Drivers incompatíveis, modelos grandes ou cargas pesadas podem causar falhas ou alto consumo de energia.