Skip to content
This repository was archived by the owner on Nov 14, 2026. It is now read-only.

About

Local LLM benchmark: Gemma 4 vs Qwen 3.5 on 32GB M5 MacBook Air + Ollama | Gemma 4 vs Qwen 3.5 本地大模型评测(41题×4模型)

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

3 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Gemma 4 vs Qwen 3.5 本地大模型评测

在 32GB M5 MacBook Air 上通过 Ollama 对四款主流本地大模型进行系统性评测。

模型

模型 架构 参数量 实测 TPS
gemma4:26b MoE 26B (4B active) 30.3 t/s
qwen3.5:35b-a3b MoE 35B (3B active) 17.3 t/s
qwen3.5:27b Dense 27B 4.2 t/s
gemma4:31b Dense 31B 4.1 t/s

评测结果

总分(满分 10 分)

模型 含失败题(41题) 有效题平均分
qwen3.5:27b 8.39 8.39(41题)
gemma4:31b 7.98 8.18(40题)
qwen3.5:35b-a3b 7.73 8.13(39题)
gemma4:26b 7.27 7.27(41题)

3 条记录因基础设施限制(超时/token耗尽)得分为 0,详见 troubleshooting_log.md。

综合评分与推理速度

综合评分

分类得分

类别 gemma4:26b gemma4:31b qwen3.5:27b qwen3.5:35b-a3b
Agent 6.3 8.0 8.5 7.8
中文 7.3 7.8 8.7 8.2
代码 7.2 7.3 8.5 6.9
指令遵循 6.7 8.3 8.0 8.0
推理 8.4 9.0 8.5 7.4
诚实度 5.5 6.5 5.5 8.0
长上下文 8.5 9.0 9.0 10.0

分类得分对比

分类得分

推理速度对比

TPS 对比

长上下文首字延迟(TTFT)

TTFT 对比

热节流衰减曲线

热节流

Thinking 模式 Token 预算消耗

Thinking 预算


题目设计(41 题)

覆盖 7 个维度,设计侧重中文场景和本地部署实用性:

维度 题数 说明
代码 10 Rust 生成/Bug 定位、Python、SQL
推理 8 逻辑推理、数学计算
中文 10 口语润色、技术写作、摘要、粤语/古典
Agent 6 工具调用、多步规划、拒绝幻觉
长上下文 2 基于真实项目文档问答
指令遵循 3 格式约束(纯 JSON、Markdown 表格、字数限制)
诚实度 2 对不确定信息的处理

题目文件:questions/all_questions.json


文件结构

benchmark/
├── questions/
│   └── all_questions.json        # 41 道评测题(含 rubric 和参考答案)
├── results/
│   ├── final_merged.jsonl        # 最终合并结果(164 条,4模型×41题)
│   ├── final_graded.json         # 含评分的最终数据集
│   └── thermal_*.json            # 热节流压力测试数据(8 个文件)
├── analysis/
│   ├── summary.md                # 评测摘要
│   ├── scores_by_category.png    # 分类得分图
│   ├── tps_comparison.png        # TPS 对比图
│   ├── thermal_curve.png         # 热节流曲线
│   └── token_economy.png         # Token 用量分布
├── docs/
│   └── troubleshooting_log.md    # 踩坑记录(12 个问题详解)
└── scripts/
    ├── runner.py                 # 核心推理脚本(Ollama API)
    ├── grader.py                 # 评分脚本
    ├── analyze.py                # 数据分析脚本
    ├── merge_final.py            # 多文件合并去重脚本
    └── build_longctx.py          # 长上下文题目构建脚本

复现方法

环境要求

  • macOS,建议 32GB 统一内存
  • Ollama v0.20.4+
  • Python 3.10+

下载模型

ollama pull gemma4:26b
ollama pull gemma4:31b
ollama pull qwen3.5:27b
ollama pull qwen3.5:35b-a3b

运行评测

# 运行全部 41 题(按模型顺序,避免频繁切换)
python3 scripts/runner.py \
    --questions questions/all_questions.json \
    --models gemma4:26b gemma4:31b \
    --prefix my_benchmark

# 热节流压力测试
python3 scripts/runner.py \
    --models gemma4:26b \
    --thermal --thermal-rounds 10

注意事项

  • Dense 模型(31b/27b)速度约 4 TPS,单题最长需 60+ 分钟,建议 timeout=7200
  • Thinking 模式下 num_predict 至少设置 16384,否则思考内容会耗尽 token 预算
  • 重启 Ollama 后需先发送预热请求,再启动 runner
  • 详细踩坑记录见 docs/troubleshooting_log.md

主要发现

  1. 质量第一:qwen3.5:27b(8.39/10)在代码、中文、Agent 全面领先,但速度最慢(4.2 t/s)
  2. 速度质量均衡:qwen3.5:35b-a3b(7.73/10,17 t/s)长上下文满分,是本地部署的最优解
  3. 极速 MoE:gemma4:26b(7.27/10,30 t/s)适合对延迟敏感的场景
  4. Dense 推理最强:gemma4:31b(7.98/10)在推理类题目(9.0/10)表现突出
  5. Thinking 模式对 Dense 模型收益明显,但会大幅增加 token 消耗,需要足够的预算

硬件参数

  • MacBook Air M5,32GB 统一内存
  • Ollama v0.20.4
  • 推理框架:llama.cpp(via Ollama)

About

Local LLM benchmark: Gemma 4 vs Qwen 3.5 on 32GB M5 MacBook Air + Ollama | Gemma 4 vs Qwen 3.5 本地大模型评测(41题×4模型)

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages