Descrição
Aplicações com LLM local podem expor uma API compatível com OpenAI sem depender de um provedor de modelos em nuvem. Este servidor somente CPU é útil para desenvolvedores que testam ferramentas contra modelos locais em máquinas sem aceleração de GPU. Prompts e texto gerado ficam locais apenas se clientes e arquivos de modelo forem configurados dessa forma.