Descrição
Modelos de linguagem locais podem rodar por uma compilação de desenvolvimento do Ollama com aceleração CUDA. Isso ajuda usuários a testar inferência por GPU NVIDIA e comportamento upstream mais novo.
Ele pode consumir muita memória de GPU e expor uma API local. Confirme compatibilidade do driver, licenças dos modelos e privacidade dos prompts antes de usar em trabalho real.