Descrição
Código atual do servidor LocalAI pode usar aceleração CUDA em fluxos de IA auto-hospedada.
Este pacote Git é útil para desenvolvedores com GPUs NVIDIA compatíveis que precisam da variante LocalAI com CUDA. Ele fornece infraestrutura de servidor, não modelos.
Servidores de IA com CUDA podem consumir muita VRAM e expor APIs locais. Verifique drivers, restrinja portas e proteja prompts.