Descrição
Modelos locais de IA podem ser expostos por uma plataforma de API para aplicações que precisam de inferência no próprio dispositivo em vez de um serviço hospedado. É útil para desenvolvedores que testam fluxos de IA privados ou offline.
Servidores locais de IA podem consumir bastante CPU, GPU, memória e disco. Revise licenças dos modelos, portas de API expostas e privacidade dos dados antes de usar com prompts sensíveis.