Descrição
Modelos de redes neurais podem ser otimizados e executados para inferência de alto desempenho em GPUs NVIDIA. Isso é útil para desenvolvedores que implantam visão computacional, linguagem, recomendação ou outras cargas de deep learning em que latência e vazão importam.
A plataforma depende de drivers NVIDIA, compatibilidade CUDA e escolhas de conversão de modelo. Usuários devem validar precisão, camadas suportadas, uso de memória da GPU e restrições de implantação antes de usar engines otimizadas em produção.