MetriLLM — Find the Best LLM for Your Hardware
Test any local model and get a clear verdict: is it worth running on your machine?
Prerequisites
- 1. Node.js 20+ — check with INLINECODE0
- Ollama or LM Studio installed and running
- Ollama:
ollama.com, then
ollama serve
- LM Studio:
lmstudio.ai, load a model and start the server
- 3. MetriLLM CLI — install globally:
CODEBLOCK0
Usage
List available models
CODEBLOCK1
Run a full benchmark
CODEBLOCK2
This measures:
- - Performance: tokens/second, time to first token, memory usage
- Quality: reasoning, math, coding, instruction following, structured output, multilingual
- Fitness verdict: EXCELLENT / GOOD / MARGINAL / NOT RECOMMENDED
Performance-only benchmark (faster)
CODEBLOCK3
Skips quality evaluation — measures speed and memory only.
View previous results
CODEBLOCK4
Read any JSON file to see full benchmark details.
Share to the public leaderboard
CODEBLOCK5
Uploads your result to the MetriLLM community leaderboard — an open, community-driven ranking of local LLM performance across real hardware. Compare your results with others and help the community find the best models for every setup. Shared data includes: model name, scores, hardware specs (CPU, RAM, GPU). No personal data is sent.
Interpreting Results
| Verdict | Score | Meaning |
|---|
| EXCELLENT | >= 80 | Fast and accurate — great fit |
| GOOD |
>= 60 | Solid — suitable for most tasks |
| MARGINAL | >= 40 | Usable but with tradeoffs |
| NOT RECOMMENDED | < 40 | Too slow or inaccurate |
Key metrics to highlight:
- -
tokensPerSecond > 30 = good for interactive use - INLINECODE3 < 500ms = responsive
- INLINECODE4 vs available RAM = will it fit?
Tips
- - Use
--perf-only for quick tests - Close GPU-intensive apps before benchmarking
- Benchmark duration varies depending on model speed and response length
Open Source
MetriLLM is free and open source (Apache 2.0). Contributions, issues, and feedback are welcome: github.com/MetriLLM/metrillm
MetriLLM — 为你的硬件找到最佳大语言模型
测试任何本地模型并获得明确结论：它是否值得在你的机器上运行？
前置条件
- 1. Node.js 20+ — 使用 node -v 检查版本
- Ollama 或 LM Studio 已安装并运行
- Ollama：
ollama.com，然后运行 ollama serve
- LM Studio：
lmstudio.ai，加载模型并启动服务器
- 3. MetriLLM CLI — 全局安装：
bash
npm install -g metrillm
使用方法
列出可用模型
bash
ollama list
运行完整基准测试
bash
metrillm bench --model $ARGUMENTS --json
此项测试会测量：
- - 性能：每秒token数、首token延迟、内存使用量
- 质量：推理、数学、编码、指令遵循、结构化输出、多语言能力
- 适配性结论：优秀 / 良好 / 一般 / 不推荐
仅性能基准测试（更快）
bash
metrillm bench --model $ARGUMENTS --perf-only --json
跳过质量评估——仅测量速度和内存。
查看历史结果
bash
ls ~/.metrillm/results/
读取任意JSON文件即可查看完整的基准测试详情。
分享至公共排行榜
bash
metrillm bench --model $ARGUMENTS --share
将你的结果上传至 MetriLLM社区排行榜——一个开放、由社区驱动的本地大语言模型在真实硬件上的性能排名。与他人比较你的结果，帮助社区为每种配置找到最佳模型。共享数据包括：模型名称、评分、硬件规格（CPU、内存、GPU）。不会发送任何个人数据。
结果解读
| 结论 | 分数 | 含义 |
|---|
| 优秀 | >= 80 | 快速且准确——完美适配 |
| 良好 |
>= 60 | 表现稳健——适合大多数任务 |
| 一般 | >= 40 | 可用但需权衡取舍 |
| 不推荐 | < 40 | 过慢或不准确 |
需要关注的关键指标：
- - tokensPerSecond > 30 = 适合交互式使用
- ttft < 500ms = 响应迅速
- memoryUsedGB 与可用内存对比 = 能否运行？
小贴士
- - 使用 --perf-only 进行快速测试
- 基准测试前关闭GPU密集型应用
- 测试时长因模型速度和响应长度而异
开源
MetriLLM 是免费且开源的（Apache 2.0协议）。欢迎贡献代码、提交问题和提供反馈：github.com/MetriLLM/metrillm
