Descrição
Um auxiliar pré-compilado de compatibilidade de hardware pode sugerir modelos LLM para inferência local.
Este pacote binário é útil para usuários que querem orientação rápida de tamanho de modelo sem compilar a ferramenta. Ele estima compatibilidade; não baixa nem executa os modelos por si só.
Estimativas de hardware podem estar erradas em drivers ou cargas incomuns. Teste com modelos pequenos antes de comprometer armazenamento e tempo.