学习低比特量化,也动手把大模型放进一张 5090。这里提供教学代码、实验权重的运行入口,以及可核对的结果。
| 模型 | 方法 | 下载体积 | 单卡5090速度记录 |
|---|---|---|---|
| 35B · 8192步 | INT2 专家 + rank16 补偿 | 15.86 GB | 历史热解码:短上下文59.33、4K约49.85 token/s |
| 122B · 4096步 | 三值专家 + 4bit 稠密层 + rank8 补偿 | 30.20 GB | 历史短请求CLI约21.72–24.00 token/s |
| 27B · 32步 | 旋转三值 QAT | 5.85 GB | 公开路径短提示热解码约9.37 token/s |
三款权重均已公开。上表测试口径不同,不能直接计算模型间加速比;35B新便携入口GPU复验未完成。35B/122B 是 MoE,每token约启用3B/10B参数;27B是稠密模型。按部署指南选择加载器,不能直接使用标准 vLLM 或 llama.cpp。
这是独立的 Bonsai 风格教学实现,质量尚未全面达到原模型。27B额外Graph实验测得 13.02 token/s,便携入口尚未GPU验证;当前部署仍用9.37路径。本轮优化已停止,详见收尾记录 · 测速口径 · 固定下载版本。
先玩浏览器三值打包实验,或在 Linux CPU 上检查量化、梯度和保存恢复:
git clone https://github.com/adenzhou1350/bonsai-qat-teaching.git
cd bonsai-qat-teaching
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements.txt
CUDA_VISIBLE_DEVICES='' .venv/bin/python test_equations.py成功会输出 PASS: ternary grid, identity STE, packing, ...。接着按动手课程读代码、改参数。
问题反馈请附环境、命令和实际输出:Issues。
原创代码与文档采用 MIT;模型、数据和第三方代码遵循各自许可,见来源说明。权重从 Hugging Face 单独下载。