Descrição
Aceleração OpenVINO pode dar suporte à inferência LLM local em hardware compatível, especialmente Intel.
Este pacote é útil para usuários que querem llama.cpp com o backend OpenVINO. Ele fornece ferramentas de inferência, não pesos de modelo nem interface de chat.
Pilhas de aceleração podem depender de versões exatas de runtime. Verifique suporte do dispositivo e proteja prompts processados localmente.