Descrição
Código atual do servidor LocalAI pode usar aceleração ROCm em fluxos de IA auto-hospedada.
Este pacote Git é útil para desenvolvedores com GPUs AMD compatíveis que precisam da variante LocalAI com ROCm. Ele é infraestrutura de servidor, não um pacote de modelos.
Suporte ROCm depende de compatibilidade entre GPU, kernel e drivers. Proteja portas de API e monitore uso de recursos.