Descrição
Fornece peças de API Python para TensorFlow Serving com suporte voltado a GPU em fluxos de serving de modelos. Ajuda aplicações a interagir com serviços de modelos em produção configurados para inferência acelerada.
Desenvolvedores e administradores usam isto como biblioteca de integração. Serving com GPU exige configuração cuidadosa de drivers, CUDA, recursos, monitoramento e controle de acesso porque modelos podem processar dados sensíveis em escala.