在 32GB M5 MacBook Air 上通过 Ollama 对四款主流本地大模型进行系统性评测。
| 模型 | 架构 | 参数量 | 实测 TPS |
|---|---|---|---|
| gemma4:26b | MoE | 26B (4B active) | 30.3 t/s |
| qwen3.5:35b-a3b | MoE | 35B (3B active) | 17.3 t/s |
| qwen3.5:27b | Dense | 27B | 4.2 t/s |
| gemma4:31b | Dense | 31B | 4.1 t/s |
| 模型 | 含失败题(41题) | 有效题平均分 |
|---|---|---|
| qwen3.5:27b | 8.39 | 8.39(41题) |
| gemma4:31b | 7.98 | 8.18(40题) |
| qwen3.5:35b-a3b | 7.73 | 8.13(39题) |
| gemma4:26b | 7.27 | 7.27(41题) |
3 条记录因基础设施限制(超时/token耗尽)得分为 0,详见 troubleshooting_log.md。
| 类别 | gemma4:26b | gemma4:31b | qwen3.5:27b | qwen3.5:35b-a3b |
|---|---|---|---|---|
| Agent | 6.3 | 8.0 | 8.5 | 7.8 |
| 中文 | 7.3 | 7.8 | 8.7 | 8.2 |
| 代码 | 7.2 | 7.3 | 8.5 | 6.9 |
| 指令遵循 | 6.7 | 8.3 | 8.0 | 8.0 |
| 推理 | 8.4 | 9.0 | 8.5 | 7.4 |
| 诚实度 | 5.5 | 6.5 | 5.5 | 8.0 |
| 长上下文 | 8.5 | 9.0 | 9.0 | 10.0 |
覆盖 7 个维度,设计侧重中文场景和本地部署实用性:
| 维度 | 题数 | 说明 |
|---|---|---|
| 代码 | 10 | Rust 生成/Bug 定位、Python、SQL |
| 推理 | 8 | 逻辑推理、数学计算 |
| 中文 | 10 | 口语润色、技术写作、摘要、粤语/古典 |
| Agent | 6 | 工具调用、多步规划、拒绝幻觉 |
| 长上下文 | 2 | 基于真实项目文档问答 |
| 指令遵循 | 3 | 格式约束(纯 JSON、Markdown 表格、字数限制) |
| 诚实度 | 2 | 对不确定信息的处理 |
题目文件:questions/all_questions.json
benchmark/
├── questions/
│ └── all_questions.json # 41 道评测题(含 rubric 和参考答案)
├── results/
│ ├── final_merged.jsonl # 最终合并结果(164 条,4模型×41题)
│ ├── final_graded.json # 含评分的最终数据集
│ └── thermal_*.json # 热节流压力测试数据(8 个文件)
├── analysis/
│ ├── summary.md # 评测摘要
│ ├── scores_by_category.png # 分类得分图
│ ├── tps_comparison.png # TPS 对比图
│ ├── thermal_curve.png # 热节流曲线
│ └── token_economy.png # Token 用量分布
├── docs/
│ └── troubleshooting_log.md # 踩坑记录(12 个问题详解)
└── scripts/
├── runner.py # 核心推理脚本(Ollama API)
├── grader.py # 评分脚本
├── analyze.py # 数据分析脚本
├── merge_final.py # 多文件合并去重脚本
└── build_longctx.py # 长上下文题目构建脚本
- macOS,建议 32GB 统一内存
- Ollama v0.20.4+
- Python 3.10+
ollama pull gemma4:26b
ollama pull gemma4:31b
ollama pull qwen3.5:27b
ollama pull qwen3.5:35b-a3b# 运行全部 41 题(按模型顺序,避免频繁切换)
python3 scripts/runner.py \
--questions questions/all_questions.json \
--models gemma4:26b gemma4:31b \
--prefix my_benchmark
# 热节流压力测试
python3 scripts/runner.py \
--models gemma4:26b \
--thermal --thermal-rounds 10- Dense 模型(31b/27b)速度约 4 TPS,单题最长需 60+ 分钟,建议
timeout=7200 - Thinking 模式下
num_predict至少设置16384,否则思考内容会耗尽 token 预算 - 重启 Ollama 后需先发送预热请求,再启动 runner
- 详细踩坑记录见 docs/troubleshooting_log.md
- 质量第一:qwen3.5:27b(8.39/10)在代码、中文、Agent 全面领先,但速度最慢(4.2 t/s)
- 速度质量均衡:qwen3.5:35b-a3b(7.73/10,17 t/s)长上下文满分,是本地部署的最优解
- 极速 MoE:gemma4:26b(7.27/10,30 t/s)适合对延迟敏感的场景
- Dense 推理最强:gemma4:31b(7.98/10)在推理类题目(9.0/10)表现突出
- Thinking 模式对 Dense 模型收益明显,但会大幅增加 token 消耗,需要足够的预算
- MacBook Air M5,32GB 统一内存
- Ollama v0.20.4
- 推理框架:llama.cpp(via Ollama)





