Descrição
APIs compatíveis com OpenAI podem ser auto-hospedadas para fluxos locais ou privados com modelos.
Este pacote é útil para desenvolvedores que querem um servidor de IA local e comunitário em vez de depender apenas de APIs hospedadas. Ele é infraestrutura de servidor, não um modelo por si só.
Servidores de IA auto-hospedados podem expor prompts, arquivos e endpoints de API. Proteja portas, credenciais e fontes dos modelos.