Descrição
Fornece o ONNX Runtime com suporte a CUDA para inferência de modelos de aprendizado de máquina em GPUs NVIDIA compatíveis. A aceleração por GPU pode melhorar vazão e latência em modelos suportados.
Use quando o sistema tem drivers NVIDIA correspondentes, suporte CUDA e memória de GPU suficiente. Operadores sem suporte ou incompatibilidades de driver podem cair para outro caminho, falhar ou ter baixo desempenho.