Descrição
Motores locais de inferência LLM podem ser medidos pelo terminal para comparar velocidade e desempenho.
Este pacote é útil para desenvolvedores e usuários avançados que ajustam llama.cpp ou runtimes de modelos semelhantes. Ele mede desempenho; não fornece um modelo por si só.
Benchmarks podem consumir muita CPU, GPU, memória e energia. Execute quando condições térmicas e bateria forem adequadas.