Descrição
Cargas de modelos grandes podem ser coordenadas para que vários modelos pesados compartilhem uma máquina com VRAM ou outros recursos limitados. É útil para experimentação local com IA quando a pressão de memória tornaria alternar modelos trabalhoso.
Proxies de modelos podem lidar com prompts, saídas e APIs de rede local. Proteja prompts privados e monitore memória da GPU, disco e acesso de processos.