Descrição
Runners de LLM locais e remotos podem ser acessados por uma interface web e API compatível com OpenAI. Isso ajuda usuários a gerenciar chats, modelos e fluxos de IA em torno de ferramentas como Ollama.
Ele pode expor prompts, saídas de modelos, usuários e endpoints de API pela rede. Revise autenticação, contas administrativas, logs, fontes de modelos e dados privados antes da implantação.