Skip to content

Latest commit

 

History

History
154 lines (121 loc) · 9.39 KB

qwen3-final-report.md

File metadata and controls

154 lines (121 loc) · 9.39 KB

Qwen3-4B 微调与 Agent 方案对照:最终报告

日期:2026-09-11。任务定位按用户最终要求:真实完成微调并理解技术取舍, 不以“微调必须全面提升效果”为验收条件。实验已运行完成,不再为追求正结果 继续训练。默认本地 Ollama 保留;远端适配器作为可复现的实验方案使用。

1. 结论

完成两轮 QLoRA SFT、原模型 / two-shot / QLoRA 对照,以及真实 CoursePilot 检索问答接入。微调改善了部分缺证据拒答与结构化输出行为,但也出现选错事实, 不能说通用问答准确率全面提升。最有价值的工程产出包括合法空 claims 拒答、 引用计数修正、数据与输出分层记录,以及没有被表面高分误导的评测流程。

简历可以证明“我实际训练、评估、部署过参数高效微调模型,并能解释为什么 保留某个方案”,不需要写“准确率显著提升”。

2. 真实训练与工件

项目 第二轮实际配置 / 结果
基础模型 Qwen/Qwen3-4B,revision 1cfa9a7208912126459214e8b04321603b3df60c
硬件 单张 RTX 4090 D 24GB;容器 RAM 配额约 8GB
数据 AI 辅助构造;1,448 train / 236 dev / 180 新 test;来源分组隔离
训练方式 4-bit NF4 + double quantization,BF16 计算,all-linear LoRA
参数 r=16、alpha=32、dropout=0.05;33,030,144 可训练参数,约 0.81%
优化 batch 1 × accumulation 8;1 epoch / 181 steps;lr=1e-4;cosine;warmup 5%;paged AdamW 8-bit
标签 仅响应区间参与 loss;输入 label=-100;超长样本失败而非静默截断
验证 train/dev 实际最大 952 tokens,长度预算 2,048;按开发 loss 保存 checkpoint
耗时 / 显存 598.124 秒;peak allocated 6,640,988,160 bytes(约 6.64 GB)
开发 loss 0.00309136;不作为最终效果指标
模型 API 无外部模型 API;实验由自有远端 GPU 推理

训练源提交 d3dbcefbfaa1e54464473384a0952a1f2a5dcdfd,干净源码导出并逐文件 校验;训练数据 manifest SHA256: cc886080e4c6f609792285e0c7466f7ad5689746b84b1c62679bba202f5f8cf0。

适配器 SHA256:c7f642d6d89a6551b3d13f64a459673b87512ca5212b7833af58f223c18b92c3。 远端工件:/home/ccnu/Code/LXP/coursepilot-qwen3-sft/runs/qlora-v3/adapter。 本机备份:data/models/qwen3-coursepilot-v2-adapter(Git 忽略),文件哈希一致。 基础权重、适配器和凭据均未提交 Git。

第一轮为 688 train / 100 dev / 172 test、两 epoch,开发 loss 选择第一 epoch。 它在真实课程中多一次误拒答,所以没有推广。第二轮从原基础模型重训,增加 长证据、多事实与条件表达,不从第一轮适配器续训。第一轮完整报告另行保留。

3. 新合成留出集:180 条

指标 原模型 QLoRA v2
首轮 JSON Schema 有效 178/180 180/180
首轮词法任务代理成功 147/180 177/180
首轮缺证据拒答 74/80 80/80
首轮可回答误拒答 0/100 1/100
Agent 最终缺证据拒答 76/80 80/80
生成 P95 1.323 s 2.200 s

来源组 bootstrap 的代理差值为 +16.7 个百分点,95% percentile 区间约 [+11.1, +22.2] 个百分点;只描述这组合成分布的词法指标,不能外推真实语义效果。 剩余错误包括跳表误拒答;另外两条受答案长短与参考覆盖范围影响。保留原评分。

4. 真实课程完整检索回归:80 条

使用 PostgreSQL/pgvector、BGE-M3、BM25、RRF、BGE Reranker、版本检查和 TrustedAgentCore,通过既有 OpenAI-compatible Adapter 调用两模型。 两门课程各 40 条,在独立数据库副本执行;不覆盖原库,不重写标签。

指标 原模型 QLoRA v2
不可回答拒答 40/40 40/40
可回答误拒答 3/40 3/40
完整请求 P95 4.052 s 3.758 s

这是一次单并发回归,不是稳定加速或大规模线上效果的证据。第一轮新增的 “链表常数时间插入前提”误拒答被修复;第二轮回答仍明确“已定位相邻节点”。 没有把原有 3 条证据门控误拒答消掉,也未为了提高回答率降低阈值。

报告历史字段 citation_accuracy 在当前实现中是参考 claim 词法对齐代理。 不能把 8/53 与 9/38 的变化解释成语义引用准确率提升。

5. 外部三方案对照:保留失败的评测假设

首先固定 50 条未用于训练的 CMRC trial 生成问题。按“参考原文片段在正确来源 Claim 中出现”评分,原模型 / two-shot / QLoRA 为 20/50、23/50、39/50。 但查看全部 19 条 QLoRA 配对改善,发现大部分原模型转述也正确,只是不逐字摘录。 因此不把 20→39 用作准确率提升,这份结果只说明输出风格与指标存在耦合。

随后在新资料上补充 50 个短答案问题,各有证据/缺证据两种输入,共 100 条。 问题选择、答案字段、允许别名与哈希在生成前固定;必要字段全部覆盖且必须 引用正确来源。字段由 AI 根据官方参考答案审核,不称独立人工盲标。 缺证据例通过替换无关段落构造,不是 CMRC 官方不可回答标签。

指标 原模型 原模型 two-shot QLoRA v2
正例必要答案字段覆盖 47/50 48/50 47/50
缺证据正确拒答 46/50 36/50 50/50
正例误拒答 0/50 1/50 0/50
首轮 Schema 有效 99/100 95/100 100/100
最终摘要降级 2 4 0
任务规则通过数 93/100 84/100 97/100
P95(含 HTTP / Agent) 1.624 s 1.541 s 1.923 s
输入 Tokens(含重试) 134,818 169,559 132,239

两条示例固定取训练集 ID v2-original-train-0000 / v2-original-train-0006。 这只比较该 two-shot 提示,不是证明所有 few-shot 方案无效。 QLoRA 对照有 6 条任务判定改善、2 条退化;两个退化是把比赛或游泳纪录事件 选错,并非无关的格式差异。拒答的改善不等于事实选择全面变好。

新数据 SHA256:1de33d7b552a9d1be3045c913d072f5ccc673648b874202165f3eac91a5be0c6。 新测试来源代码提交 65e779011d18e788b0ff5a2632266d27d79c1ae0,git_dirty=false。 全部实际对照结束后才汇总,没有按结果修改答案键。

6. 系统优化与方案选择

本轮对当前 Agent 的确定性改进,不依赖采用哪个模型:

  1. 支持合法空 claims 表达模型拒答,直接返回已有 INSUFFICIENT_EVIDENCE, 不再把主动拒答当成解析失败并改为无关证据摘要。
  2. 引用评测按全部生成 Claim–Citation 配对计数,错误/未知引用不能从分母消失, 也不能因为来源 ID 正确就给无关结论加分。
  3. 保存生成前、重试与防护后输出,模型效果、系统降级和运行错误分开统计。
  4. 模型接口、课程权限、版本隔离和学习状态事务边界不变。

RAG 与微调负责不同问题:检索提供可更新的课程事实;微调适配输出与拒答行为。 现有 200 条课程检索实验中 Hybrid/Reranker 相对 Dense-only 的结果仍见原检索 报告,不能与本轮新模型测试合并成一个提升率。默认保留本地 Ollama,实验服务 通过 SSH 隧道只监听 loopback;不把串行验证端点当作生产推理平台。

7. 数字使用规则与复现

2026-09-12 文档同步(未重跑实验、未修改原始结果):最终简历使用第二轮 1,448 条训练及外部缺证据正确拒答 46/50→50/50。100 条对照来自 50 个问题的 配对输入,不是 100 个独立问题。“独立构造”仅指与本次训练隔离,不代表人工 盲标或排除基座预训练暴露。完整四条与检索指标分开映射,见 最终简历 和 配套说明。

  • 可以写:真实训练数据规模、参数比例、单卡配置、工件哈希、对照方案和完成的评测闭环。
  • 如写效果数字,必须带限定:50 条构造缺证据例拒答 46→50,正例字段覆盖两者均 47/50。
  • 不写:准确率 98.8%、外部准确率提升 38 个百分点、零幻觉、微调全面优于原模型。
  • 数据较小、单 seed、单并发;短答案键仍是确定性代理,不能证明整段答案语义正确。
  • 公开 CMRC 是否出现于基础模型预训练未知;不称官方成绩或严格分布外盲测。

复现入口:scripts/finetuning/README.md;详细训练协议与失败记录保留在同目录 相关文档。机器结果位于 evaluation-reports/2026-09-11/;源报告分别记录 Git、数据、模型、索引、参数与硬件。原始外部全文留在本机忽略目录,公开压缩 工件移除原始证据全文、保留其哈希和模型输出;数据归因见 DATA_LICENSE.md。

8. 交付校验

最终本机回归:153 项后端测试通过,1 项因未设置独立 COURSEPILOT_POSTGRES_TEST_URL 跳过;不以跳过项声称 PostgreSQL 并发边界全覆盖。 实际 80 条课程评测使用了 PostgreSQL 数据副本,这是不同层面的真实集成证据。 后端 Ruff 通过,mypy 检查 101 个源文件无错误;5 项外部评测工具测试通过。 压缩工件逐成员 SHA256 校验通过,使用紧凑记录重新计算外部指标与原报告完全一致。 远端已加载的适配器哈希与训练工件、本机备份一致,两个模型别名可通过鉴权接口查询。