Descrição
Requisições de IA podem ser roteadas por um proxy local que expõe um endpoint compatível com OpenAI para vários provedores. É útil para desenvolvedores que querem uma única superfície de API ao alternar entre provedores de modelos.
Roteadores de IA podem lidar com prompts, chaves de API, logs e dados privados. Proteja arquivos de configuração, restrinja acesso de rede e evite enviar segredos a provedores em que você não confia.