Descrição
Aplicações com LLM local podem expor uma API compatível com OpenAI com aceleração por GPU via CUDA, Vulkan ou OpenCL. Este servidor é útil para desenvolvedores que testam ferramentas de IA contra modelos locais usando hardware gráfico disponível. Prompts, arquivos de modelo, pressão de memória da GPU e endereço de escuta devem ser gerenciados deliberadamente.