从三值编码开始

Bonsai 风格量化教学有三值编码、量化感知训练(QAT)和压缩推理的代码,也保留了实验记录。训练损失下降、检查点能恢复,回答质量仍可能不过关。读实验结果时,解码速度和回答质量要分开看。

可以先在浏览器里改几个数,试试下面的编码小实验,也可以复制 Python 示例到本地运行。之后再按手头的机器选择公开仓库中的练习。读原理和实验记录不需要大显卡。

想直接使用模型,27B、35B 和 122B 权重都已公开;从安装、下载与提问步骤开始。三款使用不同量化方法,速度也不同。

先用五个数字理解 1.6bit

三值权重的编码只有 -1、0、1。把它们映射成三进制的 0、1、2,五个编码一共有 3^5 = 243 种组合,可以放进一个有 256 种取值的字节。只看这部分编码,每个权重占 8 / 5 = 1.6bit。

5 个三值,1 个字节

改几个数,看看打包后能否原样拆回来。

选择输入(从位置 0 开始打包)

先将 −1、0、+1 映射成 0、1、2,再依次乘以 1、3、9、27、81 后相加。

当前计算:0 × 1 + 1 × 3 + 2 × 9 + 0 × 27 + 2 × 81 = 183

打包整数
183
8 位二进制
10110111
解包结果
[-1, 0, 1, -1, 1]

往返一致:解包结果与这 5 个输入完全相同。

查看并复制当前输入的 Python 示例
Python / 跟随当前输入更新
trits = [-1, 0, 1, -1, 1]
packed = sum((value + 1) * 3 ** i for i, value in enumerate(trits))
restored = [(packed // 3 ** i) % 3 - 1 for i in range(5)]

assert 0 <= packed < 256
assert restored == trits
print("packed byte:", packed)
print("binary:", format(packed, "08b"))
print("restored:", restored)

这里只验证三值编码的打包与还原,不运行模型、不估算显存,也不测试量化后的回答质量。

这一步卡住了?写封邮件会附上当前输入,供你修改后发送。

想自己运行,把当前示例保存为 ternary_demo.py,再运行 python ternary_demo.py。只用 Python 标准功能,不需要模型、PyTorch 或 GPU。

默认输入打包后是 183,二进制为 10110111,解包后仍是原来的五个数。改掉其中一个选项,看看字节值怎样变化,再把全部选项设为 -1 或 +1,试试两端的取值。

这里的 1.6bit 只算了三值编码。实际部署还要存分组尺度、padding、保留的非专家权重和运行缓存,不能把它当成整个模型的平均位宽。这个程序也没有做权重拟合、训练或推理;分组三值网格、STE 和张量打包的实现放在 quantization.py。

按资源选择学习路线

路线你能学习什么需要准备什么当前范围
CPU 原理与测试三值网格、STE 梯度、打包、恢复后下一步是否一致Linux CPU 环境,安装仓库所列依赖小规模方程和检查点测试,不加载大模型
35B 全专家 QAT准备数据与教师、更新专家主权重、保存和恢复Linux、2×B300、原模型和本地文本全 40 层两步控制通过;长程训练暂停,未完成质量验收
27B 三值 QAT旋转、量化、教师蒸馏与检查点恢复按课程准备 Linux、GPU 和主机内存32 步版已公开;96 步候选已保存和恢复,质量仍未通过
三款固定产物推理下载校验、自定义提问、显存与计时Linux、32GB RTX 5090、指定 packed 权重和匹配环境权重均已公开;部署入口与验证范围见下表
122B 校准与 CPU 初始化重建校准数据、拟合低比特权重、组装 seed原始 BF16 模型、大内存 Linux CPU数据与初始化课程已发布;完整恢复训练链尚未跑通

27B 指稠密模型 Qwen3.8-27B;35B 和 122B 分别是 Qwen3.5-35B-A3B、Qwen3.5-122B-A10B,都是 MoE。MoE 的总参数量和每 token 激活的参数量不同,不能按模型名称里的 B 数直接排序生成速度。

主课程的 35B 全专家 QAT 会更新 FP32 主权重,每次前向重新投影到三值网格。公开的 R35-8192 是 INT2 专家加 rank-16 补偿,与这条尚未完成的训练路线不同。122B 则冻结三值专家和非专家 4bit 权重,只训练 rank-8 补偿。方法对照见 METHOD.md,27B 从小机制课程开始。

跑完编码实验之后

仓库的四节动手课程列出了每个练习的输出、完成后要回答的问题,以及所需资源。第一次读可以按这个顺序:

  1. 读方法说明,弄清哪些参数参与训练,哪些保持冻结。
  2. 在 Linux CPU 环境按复刻步骤安装匹配依赖,运行 CPU 测试 test_equations.py。通过信息应以 PASS: ternary grid, identity STE, packing 开始。检查点实现用了 POSIX 目录同步,这条测试路线尚未验证 Windows 原生支持;上面的纯 Python 编码小实验没有这个依赖。
  3. 打开测试源码,找到打包往返、STE 梯度和检查点恢复的断言。再想想:只看到 loss 下降,能发现这些地方的错误吗?
  4. 有对应训练资源时,按复刻步骤做 35B 两步控制。检查数据、教师位置、导出文件和检查点都对得上,再决定是否启动长程训练。
  5. 读实验索引,分开记录训练、数值检查、能力评测和计时结果。

完整的 35B 训练很吃显存,不能按部署时的占用来准备机器。公开记录中的专家训练状态约 480GiB,两步实测峰值每卡约 247.5GiB,完整检查点约 360GiB/份。这也是完整训练路线使用 2×B300 的原因。手头显卡装不下时,可以先做 CPU 练习、读代码。

三款模型怎样部署,速度多少

先完成一次环境安装,再复制对应模型的下载与运行命令。35B 提供常驻终端聊天;122B 和 27B 提供自定义问题入口。它们是自定义压缩格式,不能直接交给标准 AutoModel、llama.cpp 或 vllm serve。

公开产物单卡 5090 速度记录部署入口
35B · R35-8192短上下文 59.33、4K 49.85 token/s;历史固定 64 步热解码下载与常驻聊天
122B · native4095历史短请求 CLI 21.72–24.00 token/s下载与自定义提问
27B · step32公开 decode_rotate 路径短提示热解码 9.37 token/s下载与自定义提问

测试口径不同,这不是统一榜单。 35B 的历史测试遇 EOS 仍跑满 64 步,新便携入口尚未 GPU 复验;122B 的范围对应原预填充与分组预填充 CLI 历史对照,不是当前 infer_hf.py 的新测速。27B 只测八条短开发题的热计算,共用生成代码已测,单独交互 CLI 未直接 GPU 调用。

27B 的私有 GDN Graph 实验测得 9.40 → 13.02 token/s,但便携 Graph 入口尚未完成 GPU 验证,本轮不发布;部署仍用上表的 9.37 路径。收尾记录保留结果。本轮已停止继续优化,速度或数值一致都不代表量化质量达标。

下载大小、固定版本和上下文配置见部署指南;显存与完整计时范围见参数参考。35B 可先用 4K 上下文和 256 输出上限;27B 当前入口含模板输入最多 128 token,输出最多 64 token。

怎样阅读 122B 单卡案例

想先看这次实验做到了什么,可以读单张 5090 跑 122B MoE 的案例。里面放在一起比较了模型存储、运行占用与配对评测,也记录了一次最终没有采用的解包优化。

如果想核对这些数字,克隆仓库后可以先运行下面的标准库脚本,Windows 和 Linux 都不需要安装模型依赖:

bash
python scripts/check_public_evidence.py

它核对已公开文件的哈希,并从摘要重算 HTTP 吞吐、请求差异数与显存单位。PASS 表示文件和摘要算术相符,不代表重跑了模型或验证了未发布的原始日志。公开证据说明逐项列出仓库里能拿到什么,以及继续复现还缺哪些文件。

这套文件与摘要检查也配置在 GitHub Actions 中,分别在 Linux 和 Windows 环境执行。

122B 运行说明记录了新旧两版固定产物。新版已完成训练、独立数值检查和单张 RTX 5090 推理;四组公开开发评测都低于对应原生 BF16 基线,质量未达标。

三款权重现在均已在 Hugging Face 公开,下载地址与固定提交见发布目录。122B 公开包使用 infer_hf.py,旧 infer.py 和 HTTP 入口不能直接加载新清单。完整训练与质量复刻的缺项仍见 122B 实验记录。

历史 HTTP 实验的四客户端合计吞吐为 21.01 / 23.30 token/s,不能当作每个用户的生成速度。256 条正式请求中有 12 条与旧 CLI 的完整输出 token 序列不同,严格输出一致性验收未通过;它不是上表公开包的已验证服务。

显存同样要看口径:122B 模型持久存储约 28.10 GiB,历史 HTTP 采样 NVML used 峰值约 30.64 GiB,驱动另保留约 0.484 GiB。分数、显存、CLI 与 HTTP 的完整解释见结果说明。

已有代码、证据和检查点保留,35B 全专家训练与 122B 研究继续暂停。122B 的CPU 初始化课程已发布,从原模型重新训练到新部署产物的完整课程仍未连通;历史记录里的“等待”不表示当前仍在运行。

留下你自己的实验记录

每次实验至少记下仓库 commit、模型与权重身份、环境、输入数据和实际命令,再写上预期结果、实际结果以及还没验证的部分。如果换了数据,可以继续用来学习训练机制,但结果不能算作原有能力分数的复刻。

整理结果时,分别回答四个问题:编码能否还原?恢复后下一步是否相同?独立评测是否达标?速度是在什么条件下测得的?

阅读入口与公开材料核对至 2026 年 10 月 21 日,对应教学仓库 9a96af3。三款部署权重已公开,本轮优化已停止;尚未完整复现 Bonsai 官方训练方案,也没有通过原定质量门槛。

本文使用 AI 工具辅助整理。实验设置和测试结果见正文。

相关原始记录 ↗讨论这个问题 ↗