Descrição
Inferência de grandes modelos de linguagem pode usar aceleração ROCm pela engine de serviço vLLM. Esta variante mira sistemas com GPUs AMD que precisam de serviço de modelos com alto throughput e batching eficiente em memória.
Ela pode expor um servidor de inferência e consumir muita memória de GPU. Valide compatibilidade ROCm, restrinja acesso ao serviço e proteja prompts ou saídas que possam conter dados privados.