Descrição
Requisições para modelos de linguagem podem ser roteadas por um gateway com observabilidade e integração MCP. É útil para equipes que precisam de um ponto único de controle para tráfego de modelos, rastreamento e acesso a ferramentas.
Gateways de LLM podem lidar com chaves de API, prompts, dados de usuários e tráfego de rede. Configure logs, redação de dados sensíveis, controle de acesso e limites de provedores antes do uso em produção.