Skip to content

Commit 7420637

Browse files
committed
feat(sleep): 冲突分诊账本 shadow 档(#641 beta 第一阶段)
真实库 788 对人审队列的全量分类(只读挖掘):46% 近重复 + 20% 跨作用域重复 + 5% 时序演进,真矛盾只有 ~27%;76% 的对两侧 created_at 差 <1 天(同日双录, 新鲜度无区分力);92% 的对从未两侧同场——人审通道承担了 71% 本应机械处置的 工作量,且 E13b 实测 winner-take-all 裁决 P(毒胜出)=86.8%。本提交不改变任何 既有行为,只把「谁该机械处理、谁才是真矛盾」变成可测量的事实: - src/dream/triage.js(新增):四档确定性分诊(dup / cross-scope-dup / evolution / conflict)的唯一实现,判据依据全部落注释;recordLedgerTriage best-effort——记账失败只 warn 计数,绝不反噬巩固相位。 - store.js:conflict_ledger 表。主键为归一化后的对,ON CONFLICT 只刷新 tier/signals/last_*,first_seen_at/first_run_id 保留首见——惰性消解的挂账 时长与同召率统计锚在首次检出。bookkeeping 语义,不触发 write hooks。 - sleep.js:phaseConflicts 在 selected 去重后记账(被去重压掉的对不进分母), freeze/空池/无路由/LLM 四个出口都带 ledgerTriage 统计,缺一不可。 - config.js / settings.js:conflictLedgerMode(off/shadow)与 conflictLedgerDupMinSimilarity(0.9)。枚举刻意不放 enforce——不存在 「设了但没行为」的档位(#616 假成功教训:autoMin 0.95 在现库覆盖为 0)。 两键登记在各自类型表而非 booleans 表:flagKeysFromSpec 合成三张表, 重复登记会被 config-keys 覆盖完整性锁抓(本次抓到过)。 - shadow 的用途:跑一周真实分诊分布,验证是否复现 46/20/5/27,预注册判据 过了才切 enforce(处置接线:T1 送合并、T2 去重账本、T3 取代链、T4 惰性 消解,后续 PR)。 全量 3277 tests / 3276 pass / 0 fail / 1 skipped;check-sync 120 文件一致。
1 parent ef8f9ce commit 7420637

15 files changed

Lines changed: 799 additions & 11 deletions

File tree

‎dsh-mneme/docs/CONFIGURATION.md‎

Lines changed: 2 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -269,6 +269,8 @@
269269
| `conflictFreezeMaxPending` | `100` | 冻结队列上限(≤1000) | — |
270270
| `conflictAutoResolveEnabled` | `false` | 相似度极高的**同 scope** 重复对自动裁决(保留新条、归档旧条),不进人工队列 | opt-in。会归档记忆,所以默认关;跨 scope 对永不自动(归属是用户的决定,#170)。用 supersede 而非 conflict:注记写在被归档侧,幸存记忆正文不动 |
271271
| `conflictAutoResolveMinSimilarity` | `0.95` | 自动裁决的相似度门槛(0.85–1) | 实测 live 库 345 条有相似度的历史行里 ≥0.95 只占 5.8%、≥0.94 占 8.1%——这一档减的是峰值,不是把队列清零。低于 0.85 就不是「重复」而是「相似」,不该自动归档任何一条 |
272+
| `conflictLedgerMode` | `off` | 冲突分诊账本档位(`off` / `shadow`) | beta 第一阶段(#641)。`shadow` = 每轮巩固对冲突候选对做确定性分诊(近重复/跨作用域/演进/真矛盾四档,判据见 `src/dream/triage.js`)并落 `conflict_ledger` 账本,**冻结/LLM 路径零变化**——先测一周真实分布,预注册判据过了才切 enforce(处置接线在后续 PR)。现阶段枚举里没有 enforce:不存在「设了但没行为」的档位。不进 lightMode 强制关闭清单:shadow 只多一张 bookkeeping 表的写入,无 LLM 调用无注入物(同 `actionPipelineEnabled` 的定性) |
273+
| `conflictLedgerDupMinSimilarity` | `0.9` | 分诊 T1(近重复)档的相似度下限(0.85–1) | 检测阈值(0.85)与自动档(0.95)之间的空带由它接管:真实库 788 对的相似度回声集中在 0.85–0.93,恰好是自动档开了也接不住的那段 |
272274

273275
## 实体
274276

‎dsh-mneme/lib/config.js‎

Lines changed: 21 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -595,6 +595,27 @@ export const Config = z.object({
595595
conflictAutoResolveEnabled: z.boolean().default(false),
596596
conflictAutoResolveMinSimilarity: z.number().min(0.85).max(1).default(0.95),
597597

598+
// --- conflict ledger(issue #641,beta 第一阶段)--------------------------
599+
// 冲突分诊账本的档位。真实库 788 对人审队列的全量分类:46% 近重复 + 20% 跨作用域
600+
// 重复 + 5% 时序演进,真矛盾只有 ~27%——现行窄 prompt 把前 71% 全逼成了「输赢」,
601+
// 再由人逐对裁决(≈30 条/天,且 92% 的对从未两侧同场)。分诊把「谁该机械处理、
602+
// 谁才是真矛盾」从 LLM 手里拿回来(E13b:winner-take-all 裁决 P(毒胜出)=86.8%)。
603+
//
604+
// "off" 默认。不分类、不记账,conflict 相位与 v0.13.0 逐字节一致。
605+
// "shadow" 只分类 + 落 conflict_ledger 账本(bookkeeping,不触发 write hooks),
606+
// freeze/LLM 路径零变化——beta 实验的测量期:shadow 一周拿真实分诊
607+
// 分布,验证是否复现 46/20/5/27,预注册判据过了才切 enforce(处置接线
608+
// 是后续 PR:T1 送合并、T2 去重账本、T3 取代链、T4 惰性消解)。
609+
//
610+
// 现阶段枚举里不放 "enforce":宁可让配置挡住手滑,也不要一个「设了但没行为」的
611+
// 档位——#616 的「假成功」教训(autoMin 0.95 在现库覆盖为 0,开了等于没开,用户
612+
// 以为功能坏了)。判据唯一实现在 src/dream/triage.js。
613+
conflictLedgerMode: z.union([z.const("off"), z.const("shadow")]).default("off"),
614+
// T1(dup)档的相似度下限。检测阈值(normal 0.85)与自动档 autoMin(0.95)之间
615+
// 的空带由它接管:真实库 reason 相似度回声集中在 0.85-0.93,正好落在两个阈值
616+
// 之间、自动档开了也接不住的那一段。下界与检测阈值同源。
617+
conflictLedgerDupMinSimilarity: z.number().min(0.85).max(1).default(0.9),
618+
598619
// --- entity gene (v0.3.0) -----------------------------------------------
599620
// Opt-in: when false (default) nothing in the pipeline extracts entities.
600621
// The storage layer (entities/entity_attrs/entity_relations tables + CRUD)

‎dsh-mneme/lib/dream/sleep.js‎

Lines changed: 27 additions & 4 deletions
Original file line numberDiff line numberDiff line change
@@ -23,6 +23,7 @@ import { STR, langOf } from "../lang.js";
2323
import { randomUUID, createHash } from "node:crypto";
2424
import { validateDecisions, applyDecisions, ACTIONS } from "./decisions.js";
2525
import { findPotentialConflicts, cosineSimilarity } from "./clustering.js";
26+
import { recordLedgerTriage } from "./triage.js";
2627
import { scopeKeyOf } from "../scope.js";
2728
import { buildReceipt, describeStreamFailure, resolveDreamEffort, withEffortFallback, withMaxTokensFallback, maintainIndexAfterDream, fenceListBody, parseFailureMeta } from "../dream.js";
2829
import { computeHeat } from "../heat.js";
@@ -390,6 +391,21 @@ async function phaseConflicts(ctx, service, config, logger, runId, semantic = nu
390391
selected.push(p);
391392
}
392393

394+
// Issue #641(beta 第一阶段,shadow 档):分诊账本。对 selected 全量做确定性
395+
// 分诊(dup / cross-scope-dup / evolution / conflict,判据唯一实现见 triage.js)
396+
// 并落 conflict_ledger。shadow = 只记账零处置:下面 freeze/LLM 路径一个字节都
397+
// 不变——shadow 的存在意义就是让「分诊分布是否复现真实库 46/20/5/27」在真实
398+
// 运行里可测,作为切 enforce(处置接线,后续 PR)前的预注册证据。记账失败只
399+
// warn 计数,绝不反噬相位(与 conflict_reviewed 同一条 best-effort 纪律)。
400+
// 记账时点在 used 去重之后:被去重压掉的那半边对(同一条记忆配给了更高相似的
401+
// 对手)本来就不是这一轮的候选,观察它们只会让分母虚高。
402+
const ledgerTriage = (config.conflictLedgerMode ?? "off") === "shadow"
403+
? recordLedgerTriage(service, runId, selected, {
404+
dupMinSimilarity: config.conflictLedgerDupMinSimilarity,
405+
logger
406+
})
407+
: null;
408+
393409
// v0.8.1(issue #170 第 2 步):跨 scope 相似对分流。同一内容落在两个归属下
394410
// (任一维标注键不等即算,NULL=未标注=全局也参与比较——「全局副本 + 专属副本
395411
// 并存」正是收窄/提升裁决的典型候选)不能自动裁决:归档败者可能销毁该内容在
@@ -583,7 +599,10 @@ async function phaseConflicts(ctx, service, config, logger, runId, semantic = nu
583599
batches: 0,
584600
ledgerSkipped,
585601
perRunSkipped,
586-
pendingSkipped
602+
pendingSkipped,
603+
// #641 shadow:分诊分布随相位结果透出(dream phases 与审计行都能看到),
604+
// 面板消费在 beta 第二批接。
605+
...(ledgerTriage ? { ledgerTriage } : {})
587606
};
588607
}
589608

@@ -601,13 +620,14 @@ async function phaseConflicts(ctx, service, config, logger, runId, semantic = nu
601620
scopeCandidates: scopeParked,
602621
pairs: selected.length,
603622
batches: 0,
604-
ledgerSkipped
623+
ledgerSkipped,
624+
...(ledgerTriage ? { ledgerTriage } : {})
605625
};
606626
}
607627

608628
// LLM adjudication(仅同 scope 对)。
609629
const route = resolveSleepRoute(ctx, config, logger);
610-
if (!route) return { status: "skipped", reason: "no llm route", scopeCandidates: scopeParked, pairs: selected.length, batches: 0, ledgerSkipped };
630+
if (!route) return { status: "skipped", reason: "no llm route", scopeCandidates: scopeParked, pairs: selected.length, batches: 0, ledgerSkipped, ...(ledgerTriage ? { ledgerTriage } : {}) };
611631
// 每轮总上限:分批解决的是单请求撞墙,不是"一个 449 对的池子该在一轮里跑完"。
612632
// 没进这一轮的对留在下一轮(它们既没被丢弃,也不在台账里)。
613633
const perRunCap = config.sleepConflictMaxPairsPerRun ?? 60;
@@ -907,7 +927,10 @@ async function phaseConflicts(ctx, service, config, logger, runId, semantic = nu
907927
conflicts,
908928
// Issue #126:#104 同向——被跳过的逐对明细要进审计行,否则事后无法判断
909929
// 是哪一对、因何被跳过(此前只进 logger.warn,splice 后就地消失)。
910-
skipped
930+
skipped,
931+
// #641 shadow:分诊分布随相位结果透出(四个出口都要带——freeze/空池/无路由/
932+
// LLM 全路径,缺一个出口 shadow 期就有部分轮次查不到分布)。
933+
...(ledgerTriage ? { ledgerTriage } : {})
911934
};
912935
}
913936

‎dsh-mneme/lib/dream/triage.js‎

Lines changed: 124 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,124 @@
1+
// 冲突分诊(issue #641 beta 第一阶段,shadow 档):把 findPotentialConflicts 送进
2+
// 冲突相位的每一对,先过确定性分诊,落进 conflict_ledger 账本。
3+
//
4+
// 为什么分诊先行:真实库 788 对人审队列的全量分类(只读挖掘,口径见 #641 正文)
5+
// ——46% 近重复 + 20% 跨作用域重复 + 5% 时序演进,真矛盾只有 ~27%。前 71% 是该被
6+
// 机械处置(merge / 去重 / 取代链)的工作量,现行窄 prompt(conflict/keep 二选一)
7+
// 把它们全逼成了「输赢」,再由人来逐对裁决(≈30 条/天,且 92% 的对从未两侧同场)。
8+
// 分诊把「谁该机械处理、谁才是真矛盾」从 LLM 手里拿回来:E13b 实测 winner-take-all
9+
// 裁决 P(毒胜出)=86.8%,LLM 在这条链上只允许降级为分类器。
10+
//
11+
// 四档判据(全部确定性,本文件是唯一实现;enforce 阶段的处置接线另有 PR,本文件
12+
// 在 shadow 档只产分类与信号,不做任何记忆行处置):
13+
// cross-scope-dup 任一 scope 维键不同——同一内容落两个归属(#170 scopeReason 口径,
14+
// 真实库占 20%)
15+
// dup 同 scope + sim ≥ dupMin + created_at 差 < 24h——同日双录
16+
// (真实库 76% 的对两侧差 <1 天;#616 实测 55-57% 的新条反而更短,
17+
// 新鲜度对这类对无区分力,后续处置按信息量裁决)
18+
// evolution 同 scope + created_at 差 ≥ 7 天——时序演进展期(T3 superseded_by
19+
// 取代链的候选池,enforce 阶段接线;entity_attrs 失效信号并入也在
20+
// 那一步,见 #585)
21+
// conflict 其余——真矛盾残余(真实库 ~27%;账本标记,消解推迟到检索时/
22+
// 会话纠正/巩固重蒸馏三时刻)
23+
//
24+
// 「未标注 scope」不算跨作用域:scopeKeyOf 把 NULL 归一成 null,两条都未标注时
25+
// null !== null 为 false、判同档——#616 指出这个判据用于**自动归档**是洞(归属未知
26+
// ≠归属相同),但在 shadow 分诊里零处置、无害;signals.annotated=false 显式落账,
27+
// 让分析时能把「未标注」切出来,而不是让它静默混进同 scope 桶。
28+
import { scopeKeyOf } from "../scope.js";
29+
30+
const DAY_MS = 86_400_000;
31+
32+
// T1(dup)与 T3(evolution)的时间界。24h 来自真实库分布(76% 的对 <1 天,且
33+
// 1-7 天区间的「疑似同日双录」残留在 1-7 天档里很难与快速演进区分,宁保守归
34+
// conflict——分诊错档在 shadow 期只是统计噪音,enforce 后错档会错杀);7 天是
35+
// 演进展期的保守下限,真实库 7 天以上的对仅 0.5%(4/788)。
36+
export const DUP_MAX_AGE_MS = DAY_MS;
37+
export const EVOLUTION_MIN_AGE_MS = 7 * DAY_MS;
38+
39+
export const LEDGER_TIERS = ["dup", "cross-scope-dup", "evolution", "conflict"];
40+
41+
/**
42+
* Classify one candidate pair into a ledger tier. Pure function — no I/O, no
43+
* config dependency beyond the tunables passed in, so the same verdict is
44+
* reproducible from the recorded signals alone.
45+
*
46+
* @param {object} a candidate side A (needs agent_scope, workspace_scope, created_at)
47+
* @param {object} b candidate side B
48+
* @param {number} similarity detector cosine similarity (pair already passed the
49+
* detection threshold, so ≥ ~0.75-0.92 depending on strictness)
50+
* @param {{dupMinSimilarity?: number, now?: number}} opts dupMin 默认 0.90(#616
51+
* 重测:0.95 在现库覆盖为 0,真实库 reason 相似度回声集中在 0.85-0.93,
52+
* 0.90 是把回声带接进 dup 档的落点);now 仅测试注入
53+
* @returns {{tier: string, signals: object}}
54+
*/
55+
export function triagePair(a, b, similarity, opts = {}) {
56+
const dupMin = typeof opts.dupMinSimilarity === "number" ? opts.dupMinSimilarity : 0.9;
57+
const now = typeof opts.now === "number" ? opts.now : Date.now();
58+
59+
const crossScope =
60+
scopeKeyOf(a.agent_scope) !== scopeKeyOf(b.agent_scope) ||
61+
scopeKeyOf(a.workspace_scope) !== scopeKeyOf(b.workspace_scope);
62+
const annotated = (a.agent_scope != null || a.workspace_scope != null) &&
63+
(b.agent_scope != null || b.workspace_scope != null);
64+
65+
// created_at 缺失不下结论:宁归 conflict(账本里最保守的一档),也不编造时间信号。
66+
const createdA = Date.parse(a.created_at ?? "");
67+
const createdB = Date.parse(b.created_at ?? "");
68+
const gapKnown = Number.isFinite(createdA) && Number.isFinite(createdB);
69+
const gapDays = gapKnown ? Math.abs(createdA - createdB) / DAY_MS : null;
70+
71+
let tier;
72+
if (crossScope) {
73+
tier = "cross-scope-dup";
74+
} else if (gapKnown && typeof similarity === "number" && similarity >= dupMin && gapDays < DUP_MAX_AGE_MS / DAY_MS) {
75+
tier = "dup";
76+
} else if (gapKnown && gapDays * DAY_MS >= EVOLUTION_MIN_AGE_MS) {
77+
tier = "evolution";
78+
} else {
79+
tier = "conflict";
80+
}
81+
82+
return {
83+
tier,
84+
signals: {
85+
crossScope,
86+
annotated,
87+
gapDays: gapDays == null ? null : Math.round(gapDays * 1000) / 1000,
88+
dupMin,
89+
similarity: typeof similarity === "number" ? similarity : null
90+
}
91+
};
92+
}
93+
94+
/**
95+
* Triage + record every selected pair into the conflict_ledger. Bookkeeping
96+
* only: a store failure on one pair must never fail the phase (same
97+
* best-effort discipline as saveConflictReviewed / saveDifferentiatedPair —
98+
* 记账本身绝不能反过来把巩固打断)。
99+
*
100+
* @returns tally object {dup, cross-scope-dup, evolution, conflict, recorded, failed}
101+
* or null when the caller shouldn't record (caller decides mode).
102+
*/
103+
export function recordLedgerTriage(service, runId, pairs, opts = {}) {
104+
const tally = { dup: 0, "cross-scope-dup": 0, evolution: 0, conflict: 0, recorded: 0, failed: 0 };
105+
for (const p of pairs) {
106+
try {
107+
const verdict = triagePair(p.a, p.b, p.similarity, opts);
108+
service.saveConflictLedgerEntry({
109+
run_id: runId,
110+
memory_a: p.a.id,
111+
memory_b: p.b.id,
112+
tier: verdict.tier,
113+
similarity: p.similarity,
114+
signals: verdict.signals
115+
});
116+
tally[verdict.tier] += 1;
117+
tally.recorded += 1;
118+
} catch (error) {
119+
tally.failed += 1;
120+
opts.logger?.warn?.(`dsh-mneme sleep: failed to record ledger triage for ${p.a?.id}/${p.b?.id}: ${String(error)}`);
121+
}
122+
}
123+
return tally;
124+
}

‎dsh-mneme/lib/service.js‎

Lines changed: 7 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -3138,6 +3138,13 @@ export function createService({ store, mirror, config, onWrite, logger, document
31383138
saveConflictReviewed: (r) => store.saveConflictReviewed(r),
31393139
loadConflictReviewed: () => store.loadConflictReviewed(),
31403140
listConflictReviewed: (opts) => store.listConflictReviewed(opts),
3141+
// #641:冲突分诊账本。与上面 conflict_reviewed 同一条 bookkeeping 纪律——纯
3142+
// 测量记录,写它绝不触发 write hooks,否则 shadow 档的每轮记账都会把睡眠
3143+
// 调度器叫醒。
3144+
saveConflictLedgerEntry: (r) => store.saveConflictLedgerEntry(r),
3145+
setConflictLedgerStatus: (a, b, s) => store.setConflictLedgerStatus(a, b, s),
3146+
listConflictLedger: (opts) => store.listConflictLedger(opts),
3147+
countConflictLedger: (opts) => store.countConflictLedger(opts),
31413148
// Recall evaluation trail (方案 B): audit-bookkeeping semantics like the
31423149
// dream/recall passthroughs above — a recall_evals write is a snapshot, not
31433150
// a memory mutation, so it never triggers write hooks.

‎dsh-mneme/lib/settings.js‎

Lines changed: 12 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -198,6 +198,10 @@ const FEATURE_FLAG_BOOLEANS = [
198198
// 显式打开,面板可启停。阈值见 FEATURE_FLAG_NUMBER_RANGES 的
199199
// conflictAutoResolveMinSimilarity。
200200
"conflictAutoResolveEnabled",
201+
// Issue #641(beta 第一阶段):conflictLedgerMode / conflictLedgerDupMinSimilarity
202+
// 不在本表——前者是枚举键(FEATURE_FLAG_ENUMS),后者是数值键
203+
// (FEATURE_FLAG_NUMBER_RANGES),flagKeysFromSpec 会把三张表合成一份白名单,
204+
// 在这里重复登记会让同键被收两次(config-keys 的覆盖完整性锁抓过)。
201205
"trustEpistemicWeighting",
202206
// Plan #2: attach per-source {keyword, vector, bm25, final} signals to each
203207
// search result for transparency/debugging. Default off, purely decorative.
@@ -382,6 +386,9 @@ const FEATURE_FLAG_NUMBER_RANGES = {
382386
// Issue #603 第 4 层:自动裁决的相似度门槛。下界 0.85 与冲突检测阈值同源——
383387
// 低于它就不是「重复」而是「相似」,不该自动归档任何一条。
384388
conflictAutoResolveMinSimilarity: [0.85, 1],
389+
// Issue #641:T1(dup)档的相似度下限。检测阈值(normal 0.85)与自动档 autoMin
390+
// (0.95,#616 重测在现库覆盖为 0)之间的空带由它接管,下界与检测阈值同源。
391+
conflictLedgerDupMinSimilarity: [0.85, 1],
385392
// #275 容量预警的归档占比阈值(0 = 关):健康形态本身就落在 0.8~0.9,默认
386393
// 0.95 起才算「归档区吞掉活跃区」——0.9 会对着健康库天天报警(依据见 config.js
387394
// capacityWarning 的注释)。浮点键,同 conflictAutoResolveMinSimilarity 的缘由。
@@ -434,7 +441,11 @@ const FEATURE_FLAG_ENUMS = {
434441
localEmbedPooling: ["auto", "cls", "mean"],
435442
// M3 开局注入档位(spec §7):轻量档在消费侧压成 off,见 wiki/inject.js 的
436443
// resolveInjectTier——LIGHT_MODE_OFF 对平铺键一律赋 false,枚举值进去会静默失效。
437-
chorographyInject: ["off", "light", "full"]
444+
chorographyInject: ["off", "light", "full"],
445+
// Issue #641:冲突分诊账本档位。现阶段只放 off/shadow——「设了但没行为」的档位
446+
// 不进枚举(#616「假成功」教训:阈值覆盖为 0 时开了等于没开,用户以为功能坏了);
447+
// enforce(处置接线)随其实现 PR 一起进枚举。
448+
conflictLedgerMode: ["off", "shadow"]
438449
};
439450
const FEATURE_FLAG_STRING_MAX = 200;
440451

0 commit comments

Comments
 (0)