Descrição
Modelos de linguagem grandes podem ser baixados, executados e servidos localmente na máquina. Isso ajuda desenvolvedores e usuários avançados a experimentar assistentes de IA, ajuda para código e geração de texto sem enviar todo prompt para um provedor hospedado.
Ele pode baixar modelos, usar bastante CPU ou GPU e expor uma API local. Revise licenças dos modelos, uso de disco, acesso de rede e prompts que contenham dados privados.