Skip to content

Commit 1abb55e

Browse files
authored
Merge branch 'main' into chore/gitignore-chorography
2 parents b1279cb + 969f6b7 commit 1abb55e

15 files changed

Lines changed: 1676 additions & 13 deletions

File tree

‎AGENTS.md‎

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -51,7 +51,7 @@ dsh-mneme 是 DSH 宿主的记忆插件(蒸馏 / 注入 / 检索 / 巩固 / sc
5151
| 外来行判据 | `src/memory-source.js` | 「本库不巩固别人导入的原文」这条契约的唯一实现(`isImportedRow`),挂在 saveWithDedupe 汇流口与巩固/睡眠/整理的九个行池上([docs/SHARE.md](dsh-mneme/docs/SHARE.md)) |
5252
| 分享包(出与收) | `src/share.js` + `src/share-http.js` + `src/share-import.js` | 出包口径与入包闸门(`buildSharePack` / `validateSharePack`,一条不合格整包拒)、两张皮共用的解析与答复(`shareReply` / `receiveReply` / `undoReply` 各只有一份——**「两张皮只许剩鉴权与路径不同」这条纪律归 `share-http.js`**,它同时承诺「这一层从不抛」)、收侧入库与整包退出(一个事务、按 `share_external_id` 幂等、物删不归档)。面板三件(分享弹层 / 接收弹层 / 外来区筛选与整包退出)在 `lib/client.js`,出包口径、入包闸门、错误码→状态全在那里读、不在那里复述;唯一的例外是外来说的那个字面量 `"imported"`(独立 bundle 不能 `import src/memory-source.js`),它由 `test/client-share.test.js` 的跨文件镜像锁钉回 `IMPORTED_SOURCE` 那一份 |
5353
| 实体 | `src/entities/extractor.js`(存储侧在 store 三表) | 写入时 LLM 抽取实体/属性/关系 |
54-
| 仓库地志(chorography) | `src/wiki/{plan,scan,partition,render,t0,queries}.js` + `bin/dsh-mneme-choro.mjs`(表在 store 六张 `choro_*`) | 仓库 → 确定性骨架页(T0 零模型)+ plan.yaml 正面控制;**wiki 行永不进记忆行池 / dream / 质量过滤**。消费面 M1 已接:面板第二座位 `dsh-mneme-wiki` + 三只读工具 + `/choro/*` 读路由(`chorographyEnabled` 闸,关 = 工具不注册 / 路由 409);M2 T1 生成轮、M3 注入未动。spec:[docs/specs/2026-11-04-chorography-design.md](docs/specs/2026-11-04-chorography-design.md) |
54+
| 仓库地志(chorography) | `src/wiki/{plan,scan,partition,render,t0,t1,queries}.js` + `bin/dsh-mneme-choro.mjs`(表在 store 六张 `choro_*`) | 仓库 → 确定性骨架页(T0 零模型)+ plan.yaml 正面控制;T1 生成轮逐模块 headless 会话补语义段与 claims(`--t1`,三重上限,runner 注入可测);**wiki 行永不进记忆行池 / dream / 质量过滤**。消费面 M1 已接:面板第二座位 `dsh-mneme-wiki` + 三只读工具 + `/choro/*` 读路由(`chorographyEnabled` 闸,关 = 工具不注册 / 路由 409);M3 注入未动。spec:[docs/specs/2026-11-04-chorography-design.md](docs/specs/2026-11-04-chorography-design.md) |
5555
| 检索辅助 | `src/search/{bm25,adaptive}.js`、`src/vector-index.js`、`src/embedding.js`、`src/local-embedder.js`、`src/reranker.js` | BM25 / 自适应阈值 / 向量索引 / 嵌入 / 重排 |
5656
| 热度 | `src/heat.js` | 纯函数遗忘曲线(opt-in) |
5757
| 复用统计 | `src/recall-stats.js` | recall_runs 只读聚合(#217,Top-N 召回 + 僵尸率) |
Lines changed: 53 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,53 @@
1+
# chorography M2 实现计划(分支 feat/chorography-m2,基于 origin/main 952f307——M1 已合并)
2+
3+
spec §10 M2 档:**T1 生成轮 + 成本上限 + 降级路径**。语义段落(架构/约定/技术栈/构建命令)
4+
与溯源 claims 落进骨架页;生成入口本档是 CLI(`--t1`),面板生成按钮与 `/choro` 指令随 M3。
5+
6+
## V1 已验(2026-11-05,本机实测)
7+
8+
桌面版 headless 通道**通**:`dsh --profile headless "<task>"` 10 秒完成一次任务、exit 0。
9+
两个必需配方(都进了 t1.js 的真实 runner):
10+
11+
1. **绕过 `.cmd` wrapper 直接调 exe**:`ELECTRON_RUN_AS_NODE=1 "…\DeepSeek Harness.exe"
12+
--expose-internals "…\dsh-desktop-host\lib\cli.js" --profile headless …`——wrapper 在
13+
Git Bash 下路径引号会碎(实测 `'%D:\Program' 不是内部或外部命令`)。
14+
2. **模型路由用 `--patch` 临时 overlay**(bili-scroll 同款、零配置改动):headless profile
15+
默认路由 deepseek-official 要 API key(MISSING_CREDENTIAL),而池插件 dsh-xdpool 已装在
16+
headless profile 里;overlay 写一条 `agent-default-model → provider: xdpool / model:
17+
deepseek-v4.1-flash` 即可吃池额度。overlay 是一次性临时文件(只有 provider/model 名,
18+
无 key——红线 4),跑完即删。
19+
20+
## 已定实现决策(M1 之外的补口)
21+
22+
| # | 决策 | 理由 | 被否备选 |
23+
| --- | --- | --- | --- |
24+
| P14 | session runner 是注入接口:`createT1({ store, runSession })`,真实 runner(spawn headless)与测试 stub 共一套编排 | 单测绝不真开 headless 会话;成本上限与降级逻辑必须能脱离模型验证 | 测试里 mock child_process:脆且绕过编排语义 |
25+
| P15 | 三重上限全在事件流上实现:`--json` NDJSON 边读边计数,工具调用超限 / 输出超限 / 墙钟超时 → kill 子进程、该模块 fail | spec §6 步 11 的三重上限;NDJSON 让三者共用同一条读取循环,不是三个定时器 | 事后解析:超限了钱已经花完 |
26+
| P16 | 输出契约 = 严格 JSON(章程要求只输出一个对象),解析失败 / claims 的 sourcePath 不在模块文件清单里 → 该轮 failed(fail_count++),骨架原样保留 | 溯源锚点可核验是 spec 的根基(红线 5 相邻);编造的锚点比没有更伤 | 丢坏 claims 保正文:正文与锚点必须同源(claims 是正文的证据层) |
27+
| P17 | 失败计数落 `choro_pages.fail_count`(addColumn 幂等迁移);连续 2 次失败 → status=failed,T1 跳过 failed 页除非 `--retry` | spec 步 12「失败两次即记 failed」;不加列就得把计数藏进 state.json(页级状态散两处) | 不持久化:重跑永远从 0 数 |
28+
| P18 | headless **起不来**(spawn 失败 / MISSING_CREDENTIAL 等环境级错误)≠ 单模块失败:整档中止、页状态不动、receipt 带 `t1Unavailable` + 原因 | spec 降级表的两条不同行(「根本起不来」整档关 vs「超时/超限」单模块 failed),面板据此显示「当前只有骨架」+ 原因 | 一律标 failed:把环境问题记成页的错,重跑永远 failed |
29+
| P19 | 富化写法:T1 四段插在「生成说明」节**之前**,T0 确定性段落原样保留;CHORO:HUMAN 保留区照旧页尾回填 | T0 段落是可重建的(字节稳定契约只对 skeleton 页),富化后页面归 T1 所有、T0 段落成了上下文——重建整页时富化层丢弃重来(enriched 页不参与 T0 的字节稳定不变量) | T0 段落也重排:富化页与骨架页格式漂移,diff 无法读 |
30+
| P20 | claims 落两处:`choro_claims` 表(删旧插新)+ `evidence/<slug>.json`(spec §4 磁盘契约);`sourcePath` 必须命中该模块的文件清单 | 磁盘 evidence 是人可查的证据层,表是检索层;两处同源同写 | 只落表:spec §4 的 evidence/ 目录就名存实亡 |
31+
| P21 | 模型路由 = CLI `--model provider/model`,缺省 `xdpool/deepseek-v4.1-flash`(池目录会漂,flag 覆盖);不进 config schema | T1 只手动触发(CLI 显式 `--t1`),不是常驻行为——AGENTS.md 自查清单第 1 条的开关针对常驻行为 | 进 config schema:又一个键 + 计数锁 + 文档锁,为一个手动 flag 不值 |
32+
| P22 | 章程里「只读、不修改文件」是**软约束**:headless 工具集由宿主管,T1 不做工具白名单(那要 --patch 覆盖宿主工具注册,超出 mneme 的管辖面) | 边界如实写进 README/计划:人发起、产出只写 `.chorography/**`(写路径断言)、越界动作 git diff 可见 | 章程当防线:提示词不是安全边界,假装是才是危险 |
33+
| P23 | 重跑 T0 命中已富化的页时,**先出声再丢**:`collectT1Loss` 数出「页里含 `CHORO:T1` 的页」与「`evidence/*.json` 份数」,进 `warnings` + receipt 的结构化字段 `t1Loss`;清点纯只读,不改字节也不删 evidence | P19 说丢弃富化层是设计意图,但**静默才是 bug**——2026-11-05 在 dsh-baleen 实测:重跑 `--apply` 后 `modules/src-client.md` 的 CHORO:T1 段消失、`choro_claims` 清空,33 条 claims 的 evidence 文件留在磁盘成孤儿,全程零提示,用户看到的是「跑完 T0,语义段落没了」 | apply 时顺手删掉旧 evidence:那是证据层,删了就没法回查;或干脆不提示:静默丢失比多一行提示糟糕得多 |
34+
35+
## 步骤
36+
37+
1. store:`fail_count` 列(addColumn 幂等)+ `saveChoroPageClaims`(删旧插新)。
38+
2. `src/wiki/t1.js`:章程构建、NDJSON 三重上限、JSON 输出校验(schema + claims 锚点对账)、
39+
页面富化(保留区回填复用 render.js)、claims/evidence 双落、降级表全路径。
40+
3. CLI:`--t1 [--module slug] [--model provider/model] [--timeout 秒] [--retry-failed]`;
41+
receipt 与 T0 同款人话格式。
42+
4. 测试(stub runner,四层):编排(选模块/跳过 failed)、三重上限触发、输出契约校验
43+
(坏 JSON/编造锚点 → failed)、富化与保留区共存、降级分叉(环境级 vs 模块级)。
44+
5. T1 标记从 t1.js 收进 `src/wiki/render.js`(写的人 t1.js、读的人还有 t0.js),T0 加
45+
`collectT1Loss` 清点 + warning(P23),回归测试落在 `test/wiki-t0.test.js`。
46+
47+
## 落地状态(2026-11-05)
48+
49+
代码全部落盘,闸门实测:`npm test` 2780 tests / **2779 pass / 0 fail / 1 skipped**
50+
(新增 `test/wiki-t1.test.js` 7 例 + `test/wiki-t0.test.js` 2 例:t1Loss 清点、CLI 解析),
51+
`check-sync` 92 文件一致。真实冒烟:dsh-baleen `src-client` 29s 富化、33 条 claims
52+
锚点存活 33/33。**未提交**——等用户点头。
53+

‎dsh-mneme/CHANGELOG.md‎

Lines changed: 11 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -2,6 +2,17 @@
22

33
## [Unreleased]
44

5+
- **chorography M2:T1 语义生成轮——逐模块 headless 会话补四段语义正文 + 溯源 claims**:`dsh-mneme-choro <repo> --t1 --apply`(缺省 dry-run 只列候选;`--module` 单跑 / `--model` 路由 / `--timeout` 墙钟 / `--retry-failed` 拉回失败页)。会话产出的架构/约定/技术栈/构建四段插在骨架页「生成说明」节之前(T0 确定性段落原样保留),claims 落 `choro_claims` 表 + `evidence/<slug>.json` 双处同源。
6+
7+
- **V1 已实测通过**(T1 的全部前提):桌面版 headless 通道通——两个必需配方进了真实 runner:①**绕过 `.cmd` wrapper 直接调 exe**(`ELECTRON_RUN_AS_NODE=1 + --expose-internals`,wrapper 在 Git Bash 下路径引号会碎);②**模型路由走 `--patch` 一次性临时 overlay** 指池模型(bili-scroll 同款、零配置改动;headless 默认路由 deepseek-official 要 API key,MISSING_CREDENTIAL)。overlay 只有 provider/model 名,无 key(红线 4)。
8+
- **三重上限在 NDJSON 事件流上增量计数**(工具调用 / 输出字节 / 墙钟,超限即刻 kill):这里有一个实测坑——初版每个数据块都把整个累积 buffer 重扫一遍,tool_call 被平方级重复计数,11 秒就撞 40 上限的假象;改成按「已计行数」增量扫描。事件形状以 V1 实测为准(`tool_call` 与 `tool_result` 成对,只数前者;最终答案取 `final.text`)。
9+
- **输出契约同过同拒**(P16):章程要求只输出一个 JSON 对象;解析失败或 claims 的 `sourcePath` 不在该模块文件清单里 → 该轮 failed、**一条 claims 都不落**——编造的锚点比没有更伤。首跑真实会话就是这条契约拦下了跨模块引用(`../../tools/build-client.mjs`),章程收紧(跨模块结论写进段落文字、不带锚点)后重跑通过。
10+
- **失败记账(P17/P18)**:`choro_pages.fail_count` 列(addColumn 幂等迁移),连续两次到阈值标 `failed`(骨架原样保留),`--retry-failed` 可拉回、成功清零;**环境级失败(起不来 / MISSING_CREDENTIAL)≠ 页失败**——整档中止、页状态与计数都不动,receipt 带原因。
11+
- **exe 定位**:`DSH_EXE` 环境变量 > `--dsh-exe` > 进程自身 > 标准安装位;cli.js 在 app.asar 内部,**不能 existsSync 校验**(CLI 是普通 node,没有 asar 支持;exe 自己加载没问题,V1 实测)。
12+
- **边界如实声明(P22)**:headless 工具集由宿主管,章程里「只读、不修改文件」是软约束不是安全边界;T1 的硬保证是——人发起(CLI 显式 `--t1 --apply`)、本进程写路径断言在 `.chorography/**`、越界动作 git diff 可见。
13+
- **真实冒烟**(dsh-baleen src-client,池模型 deepseek-v4.1-flash):29s 富化完成、四段全出、33 条 claims 锚点文件存活率 33/33。模型工具路由是 CLI flag(P21:T1 只手动触发,不进 config schema)。
14+
- **重跑 T0 不许静默吞掉语义段**(M2 补洞):T0 重建整页时按 P19 丢弃富化层是设计意图,但**不说一声才是 bug**——实测在 dsh-baleen 上重跑 `--apply`,enriched 页退回 skeleton、`choro_claims` 清空,而 `.chorography/evidence/*.json` 留成孤儿,全程零提示。现在 T0 在 dry-run/apply 之前先清点(页内 `<!-- CHORO:T1:START -->` 计数 + evidence 下 `.json` 计数),命中就进 `warnings` 并在 receipt 带结构化 `t1Loss: { pages, orphanEvidence }`;清点只读,不改字节、不删 evidence,页已退回骨架后自动不再报警(免得变成常驻噪音)。T1 的两个标记因此收进 `src/wiki/render.js`(与 `CHORO:HUMAN` 同住)——写的人是 t1.js,读的人还有 t0.js。
15+
- **验证**:新增 9 例(`test/wiki-t1.test.js` 7 例,runner 全部注入 stub——单测绝不真开会话):dry-run 零会话、快乐路径(富化 + 保留区共存 + 重富化剥旧段)、失败记账与重试、编造锚点拒绝、环境级中止、上限路径、未登记拒绝;`test/wiki-t0.test.js` 2 例锁 t1Loss 清点(dry-run 也出声、evidence 不删、退回骨架后不再报警)与 CLI 解析(`--timeout` 只收正数秒——NaN 混进 spawn 的 timeoutMs 时墙钟上限会静默失效,不报错)。全量 `npm test` 2780 tests / 2779 pass / 0 fail / 1 skipped;check-sync 92 一致。
516
- **chorography M1:仓库地志面板(浏览)+ 三个只读工具 + 关键词检索**:消费面第一批落四张脸——**面板**:第二个宿主座位(`sidebar.panellist` + `main`,id/key 逐字同为 `dsh-mneme-wiki`),左模块树 / 右正文 / 顶部检索,只读 MD 渲染(React 文本节点天然转义,零 innerHTML 通道);**路由**:`/choro/repos|modules|page|search` 四条全 `policy: "open"`(宿主围栏统一鉴权),`chorographyEnabled` 关着统一 409 disabled(#497「路由挂着、逻辑层挡」先例);**工具**:`choro_search` / `choro_read_page` / `choro_module_map` 走 hiddenTools 闸默认不在场,零写工具(红线 3);**schema**:`choro_edges` 表补口(spec §7 的 module_map 要依赖边,M0 schema 漏了),replaceChoroGraph 顺手多删多插一段,幂等语义不变。
617

718
- **开关语义**:`chorographyEnabled` opt-in 默认关(工具描述常驻模型上下文 = 新增成本,旗标计数锁 111 → 112);**刻意不进 `LIGHT_MODE_OFF`**——choro 零每轮注入物、零热路径挂载,只有被动查询,轻量档关它省不出任何东西(config.js 键注释写明取舍)。

0 commit comments

Comments
 (0)