Skip to content

Commit 11a3b5e

Browse files
authored
Merge pull request #643 from slow-stack/feat/641-conflict-ledger
feat(sleep): 冲突分诊账本 shadow 档(#641 beta 第一阶段)
2 parents 62a3c60 + 94df5fc commit 11a3b5e

15 files changed

Lines changed: 876 additions & 11 deletions

File tree

‎dsh-mneme/docs/CONFIGURATION.md‎

Lines changed: 2 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -269,6 +269,8 @@
269269
| `conflictFreezeMaxPending` | `100` | 冻结队列上限(≤1000) | — |
270270
| `conflictAutoResolveEnabled` | `false` | 相似度极高的**同 scope** 重复对自动裁决(保留新条、归档旧条),不进人工队列 | opt-in。会归档记忆,所以默认关;跨 scope 对永不自动(归属是用户的决定,#170)。用 supersede 而非 conflict:注记写在被归档侧,幸存记忆正文不动 |
271271
| `conflictAutoResolveMinSimilarity` | `0.95` | 自动裁决的相似度门槛(0.85–1) | 实测 live 库 345 条有相似度的历史行里 ≥0.95 只占 5.8%、≥0.94 占 8.1%——这一档减的是峰值,不是把队列清零。低于 0.85 就不是「重复」而是「相似」,不该自动归档任何一条 |
272+
| `conflictLedgerMode` | `off` | 冲突分诊账本档位(`off` / `shadow`) | beta 第一阶段(#641)。`shadow` = 每轮巩固对冲突候选对做确定性分诊(近重复/跨作用域/演进/真矛盾四档,判据见 `src/dream/triage.js`)并落 `conflict_ledger` 账本,**冻结/LLM 路径零变化**——先测一周真实分布,预注册判据过了才切 enforce(处置接线在后续 PR)。现阶段枚举里没有 enforce:不存在「设了但没行为」的档位。不进 lightMode 强制关闭清单:shadow 只多一张 bookkeeping 表的写入,无 LLM 调用无注入物(同 `actionPipelineEnabled` 的定性) |
273+
| `conflictLedgerDupMinSimilarity` | `0.9` | 分诊 T1(近重复)档的相似度下限(0.85–1) | 检测阈值(0.85)与自动档(0.95)之间的空带由它接管:真实库 788 对的相似度回声集中在 0.85–0.93,恰好是自动档开了也接不住的那段 |
272274

273275
## 实体
274276

‎dsh-mneme/lib/config.js‎

Lines changed: 21 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -595,6 +595,27 @@ export const Config = z.object({
595595
conflictAutoResolveEnabled: z.boolean().default(false),
596596
conflictAutoResolveMinSimilarity: z.number().min(0.85).max(1).default(0.95),
597597

598+
// --- conflict ledger(issue #641,beta 第一阶段)--------------------------
599+
// 冲突分诊账本的档位。真实库 788 对人审队列的全量分类:46% 近重复 + 20% 跨作用域
600+
// 重复 + 5% 时序演进,真矛盾只有 ~27%——现行窄 prompt 把前 71% 全逼成了「输赢」,
601+
// 再由人逐对裁决(≈30 条/天,且 92% 的对从未两侧同场)。分诊把「谁该机械处理、
602+
// 谁才是真矛盾」从 LLM 手里拿回来(E13b:winner-take-all 裁决 P(毒胜出)=86.8%)。
603+
//
604+
// "off" 默认。不分类、不记账,conflict 相位与 v0.13.0 逐字节一致。
605+
// "shadow" 只分类 + 落 conflict_ledger 账本(bookkeeping,不触发 write hooks),
606+
// freeze/LLM 路径零变化——beta 实验的测量期:shadow 一周拿真实分诊
607+
// 分布,验证是否复现 46/20/5/27,预注册判据过了才切 enforce(处置接线
608+
// 是后续 PR:T1 送合并、T2 去重账本、T3 取代链、T4 惰性消解)。
609+
//
610+
// 现阶段枚举里不放 "enforce":宁可让配置挡住手滑,也不要一个「设了但没行为」的
611+
// 档位——#616 的「假成功」教训(autoMin 0.95 在现库覆盖为 0,开了等于没开,用户
612+
// 以为功能坏了)。判据唯一实现在 src/dream/triage.js。
613+
conflictLedgerMode: z.union([z.const("off"), z.const("shadow")]).default("off"),
614+
// T1(dup)档的相似度下限。检测阈值(normal 0.85)与自动档 autoMin(0.95)之间
615+
// 的空带由它接管:真实库 reason 相似度回声集中在 0.85-0.93,正好落在两个阈值
616+
// 之间、自动档开了也接不住的那一段。下界与检测阈值同源。
617+
conflictLedgerDupMinSimilarity: z.number().min(0.85).max(1).default(0.9),
618+
598619
// --- entity gene (v0.3.0) -----------------------------------------------
599620
// Opt-in: when false (default) nothing in the pipeline extracts entities.
600621
// The storage layer (entities/entity_attrs/entity_relations tables + CRUD)

‎dsh-mneme/lib/dream/sleep.js‎

Lines changed: 29 additions & 4 deletions
Original file line numberDiff line numberDiff line change
@@ -23,6 +23,7 @@ import { STR, langOf } from "../lang.js";
2323
import { randomUUID, createHash } from "node:crypto";
2424
import { validateDecisions, applyDecisions, ACTIONS } from "./decisions.js";
2525
import { findPotentialConflicts, cosineSimilarity } from "./clustering.js";
26+
import { recordLedgerTriage } from "./triage.js";
2627
import { scopeKeyOf } from "../scope.js";
2728
import { buildReceipt, describeStreamFailure, resolveDreamEffort, withEffortFallback, withMaxTokensFallback, maintainIndexAfterDream, fenceListBody, parseFailureMeta } from "../dream.js";
2829
import { computeHeat } from "../heat.js";
@@ -390,6 +391,23 @@ async function phaseConflicts(ctx, service, config, logger, runId, semantic = nu
390391
selected.push(p);
391392
}
392393

394+
// Issue #641(beta 第一阶段,shadow 档):分诊账本。对 selected 全量做确定性
395+
// 分诊(dup / cross-scope-dup / evolution / conflict,判据唯一实现见 triage.js)
396+
// 并落 conflict_ledger。shadow = 只记账零处置:下面 freeze/LLM 路径一个字节都
397+
// 不变——shadow 的存在意义就是让「分诊分布是否复现真实库 46/20/5/27」在真实
398+
// 运行里可测,作为切 enforce(处置接线,后续 PR)前的预注册证据。记账失败只
399+
// warn 计数,绝不反噬相位(与 conflict_reviewed 同一条 best-effort 纪律)。
400+
// 记账时点在 used 去重之后:被去重压掉的那半边对(同一条记忆配给了更高相似的
401+
// 对手)本来就不是这一轮的候选,观察它们只会让分母虚高。
402+
const ledgerTriage = (config.conflictLedgerMode ?? "off") === "shadow"
403+
? await recordLedgerTriage(service, runId, selected, {
404+
dupMinSimilarity: config.conflictLedgerDupMinSimilarity,
405+
logger,
406+
// 分块记账的取消检查:用户活动打断时停止记账,余下的对下一轮重见
407+
signal
408+
})
409+
: null;
410+
393411
// v0.8.1(issue #170 第 2 步):跨 scope 相似对分流。同一内容落在两个归属下
394412
// (任一维标注键不等即算,NULL=未标注=全局也参与比较——「全局副本 + 专属副本
395413
// 并存」正是收窄/提升裁决的典型候选)不能自动裁决:归档败者可能销毁该内容在
@@ -583,7 +601,10 @@ async function phaseConflicts(ctx, service, config, logger, runId, semantic = nu
583601
batches: 0,
584602
ledgerSkipped,
585603
perRunSkipped,
586-
pendingSkipped
604+
pendingSkipped,
605+
// #641 shadow:分诊分布随相位结果透出(dream phases 与审计行都能看到),
606+
// 面板消费在 beta 第二批接。
607+
...(ledgerTriage ? { ledgerTriage } : {})
587608
};
588609
}
589610

@@ -601,13 +622,14 @@ async function phaseConflicts(ctx, service, config, logger, runId, semantic = nu
601622
scopeCandidates: scopeParked,
602623
pairs: selected.length,
603624
batches: 0,
604-
ledgerSkipped
625+
ledgerSkipped,
626+
...(ledgerTriage ? { ledgerTriage } : {})
605627
};
606628
}
607629

608630
// LLM adjudication(仅同 scope 对)。
609631
const route = resolveSleepRoute(ctx, config, logger);
610-
if (!route) return { status: "skipped", reason: "no llm route", scopeCandidates: scopeParked, pairs: selected.length, batches: 0, ledgerSkipped };
632+
if (!route) return { status: "skipped", reason: "no llm route", scopeCandidates: scopeParked, pairs: selected.length, batches: 0, ledgerSkipped, ...(ledgerTriage ? { ledgerTriage } : {}) };
611633
// 每轮总上限:分批解决的是单请求撞墙,不是"一个 449 对的池子该在一轮里跑完"。
612634
// 没进这一轮的对留在下一轮(它们既没被丢弃,也不在台账里)。
613635
const perRunCap = config.sleepConflictMaxPairsPerRun ?? 60;
@@ -907,7 +929,10 @@ async function phaseConflicts(ctx, service, config, logger, runId, semantic = nu
907929
conflicts,
908930
// Issue #126:#104 同向——被跳过的逐对明细要进审计行,否则事后无法判断
909931
// 是哪一对、因何被跳过(此前只进 logger.warn,splice 后就地消失)。
910-
skipped
932+
skipped,
933+
// #641 shadow:分诊分布随相位结果透出(四个出口都要带——freeze/空池/无路由/
934+
// LLM 全路径,缺一个出口 shadow 期就有部分轮次查不到分布)。
935+
...(ledgerTriage ? { ledgerTriage } : {})
911936
};
912937
}
913938

‎dsh-mneme/lib/dream/triage.js‎

Lines changed: 139 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,139 @@
1+
// 冲突分诊(issue #641 beta 第一阶段,shadow 档):把 findPotentialConflicts 送进
2+
// 冲突相位的每一对,先过确定性分诊,落进 conflict_ledger 账本。
3+
//
4+
// 为什么分诊先行:真实库 788 对人审队列的全量分类(只读挖掘,口径见 #641 正文)
5+
// ——46% 近重复 + 20% 跨作用域重复 + 5% 时序演进,真矛盾只有 ~27%。前 71% 是该被
6+
// 机械处置(merge / 去重 / 取代链)的工作量,现行窄 prompt(conflict/keep 二选一)
7+
// 把它们全逼成了「输赢」,再由人来逐对裁决(≈30 条/天,且 92% 的对从未两侧同场)。
8+
// 分诊把「谁该机械处理、谁才是真矛盾」从 LLM 手里拿回来:E13b 实测 winner-take-all
9+
// 裁决 P(毒胜出)=86.8%,LLM 在这条链上只允许降级为分类器。
10+
//
11+
// 四档判据(全部确定性,本文件是唯一实现;enforce 阶段的处置接线另有 PR,本文件
12+
// 在 shadow 档只产分类与信号,不做任何记忆行处置):
13+
// cross-scope-dup 任一 scope 维键不同——同一内容落两个归属(#170 scopeReason 口径,
14+
// 真实库占 20%)
15+
// dup 同 scope + sim ≥ dupMin + created_at 差 < 24h——同日双录
16+
// (真实库 76% 的对两侧差 <1 天;#616 实测 55-57% 的新条反而更短,
17+
// 新鲜度对这类对无区分力,后续处置按信息量裁决)
18+
// evolution 同 scope + created_at 差 ≥ 7 天——时序演进展期(T3 superseded_by
19+
// 取代链的候选池,enforce 阶段接线;entity_attrs 失效信号并入也在
20+
// 那一步,见 #585)
21+
// conflict 其余——真矛盾残余(真实库 ~27%;账本标记,消解推迟到检索时/
22+
// 会话纠正/巩固重蒸馏三时刻)
23+
//
24+
// 「未标注 scope」不算跨作用域:scopeKeyOf 把 NULL 归一成 null,两条都未标注时
25+
// null !== null 为 false、判同档——#616 指出这个判据用于**自动归档**是洞(归属未知
26+
// ≠归属相同),但在 shadow 分诊里零处置、无害;signals.annotated=false 显式落账,
27+
// 让分析时能把「未标注」切出来,而不是让它静默混进同 scope 桶。
28+
import { scopeKeyOf } from "../scope.js";
29+
30+
const DAY_MS = 86_400_000;
31+
32+
// T1(dup)与 T3(evolution)的时间界。24h 来自真实库分布(76% 的对 <1 天,且
33+
// 1-7 天区间的「疑似同日双录」残留在 1-7 天档里很难与快速演进区分,宁保守归
34+
// conflict——分诊错档在 shadow 期只是统计噪音,enforce 后错档会错杀);7 天是
35+
// 演进展期的保守下限,真实库 7 天以上的对仅 0.5%(4/788)。
36+
export const DUP_MAX_AGE_MS = DAY_MS;
37+
export const EVOLUTION_MIN_AGE_MS = 7 * DAY_MS;
38+
39+
export const LEDGER_TIERS = ["dup", "cross-scope-dup", "evolution", "conflict"];
40+
41+
/**
42+
* Classify one candidate pair into a ledger tier. Pure function — no I/O, no
43+
* config dependency beyond the tunables passed in, so the same verdict is
44+
* reproducible from the recorded signals alone.
45+
*
46+
* @param {object} a candidate side A (needs agent_scope, workspace_scope, created_at)
47+
* @param {object} b candidate side B
48+
* @param {number} similarity detector cosine similarity (pair already passed the
49+
* detection threshold, so ≥ ~0.75-0.92 depending on strictness)
50+
* @param {{dupMinSimilarity?: number, now?: number}} opts dupMin 默认 0.90(#616
51+
* 重测:0.95 在现库覆盖为 0,真实库 reason 相似度回声集中在 0.85-0.93,
52+
* 0.90 是把回声带接进 dup 档的落点);now 仅测试注入
53+
* @returns {{tier: string, signals: object}}
54+
*/
55+
export function triagePair(a, b, similarity, opts = {}) {
56+
const dupMin = typeof opts.dupMinSimilarity === "number" ? opts.dupMinSimilarity : 0.9;
57+
const now = typeof opts.now === "number" ? opts.now : Date.now();
58+
59+
const crossScope =
60+
scopeKeyOf(a.agent_scope) !== scopeKeyOf(b.agent_scope) ||
61+
scopeKeyOf(a.workspace_scope) !== scopeKeyOf(b.workspace_scope);
62+
const annotated = (a.agent_scope != null || a.workspace_scope != null) &&
63+
(b.agent_scope != null || b.workspace_scope != null);
64+
65+
// created_at 缺失不下结论:宁归 conflict(账本里最保守的一档),也不编造时间信号。
66+
const createdA = Date.parse(a.created_at ?? "");
67+
const createdB = Date.parse(b.created_at ?? "");
68+
const gapKnown = Number.isFinite(createdA) && Number.isFinite(createdB);
69+
const gapDays = gapKnown ? Math.abs(createdA - createdB) / DAY_MS : null;
70+
71+
let tier;
72+
if (crossScope) {
73+
tier = "cross-scope-dup";
74+
} else if (gapKnown && typeof similarity === "number" && similarity >= dupMin && gapDays < DUP_MAX_AGE_MS / DAY_MS) {
75+
tier = "dup";
76+
} else if (gapKnown && gapDays * DAY_MS >= EVOLUTION_MIN_AGE_MS) {
77+
tier = "evolution";
78+
} else {
79+
tier = "conflict";
80+
}
81+
82+
return {
83+
tier,
84+
signals: {
85+
crossScope,
86+
annotated,
87+
gapDays: gapDays == null ? null : Math.round(gapDays * 1000) / 1000,
88+
dupMin,
89+
similarity: typeof similarity === "number" ? similarity : null
90+
}
91+
};
92+
}
93+
94+
/**
95+
* Triage + record every selected pair into the conflict_ledger. Bookkeeping
96+
* only: a store failure on one pair must never fail the phase (same
97+
* best-effort discipline as saveConflictReviewed / saveDifferentiatedPair —
98+
* 记账本身绝不能反过来把巩固打断)。
99+
*
100+
* 分块 + 让出(#643 review):候选池大时同步写完全部对会连续占用事件循环、
101+
* 延迟用户活动与取消信号的处理——每块之间 setImmediate 让出一次,并在每块
102+
* 开始前检查 signal.aborted。取消后停止记账,余下的对下一轮自然重见;**不用
103+
* 固定上限裁剪观察样本**(shadow 的分母必须完整,截断只来自取消,且在
104+
* tally.truncatedAt 可见——静默截断会让分布失真,比没有数据更糟)。
105+
*
106+
* @returns Promise<tally> {dup, cross-scope-dup, evolution, conflict, recorded,
107+
* failed, truncatedAt} — truncatedAt 非 null 表示取消点(已处理的对数)
108+
*/
109+
export async function recordLedgerTriage(service, runId, pairs, opts = {}) {
110+
const tally = { dup: 0, "cross-scope-dup": 0, evolution: 0, conflict: 0, recorded: 0, failed: 0, truncatedAt: null };
111+
const CHUNK = 50;
112+
for (let start = 0; start < pairs.length; start += CHUNK) {
113+
// 块间让出事件循环(首块前不用——pairs 为空或单块时零额外宏任务)
114+
if (start > 0) await new Promise((resolve) => setImmediate(resolve));
115+
if (opts.signal?.aborted) {
116+
tally.truncatedAt = start;
117+
break;
118+
}
119+
for (const p of pairs.slice(start, start + CHUNK)) {
120+
try {
121+
const verdict = triagePair(p.a, p.b, p.similarity, opts);
122+
service.saveConflictLedgerEntry({
123+
run_id: runId,
124+
memory_a: p.a.id,
125+
memory_b: p.b.id,
126+
tier: verdict.tier,
127+
similarity: p.similarity,
128+
signals: verdict.signals
129+
});
130+
tally[verdict.tier] += 1;
131+
tally.recorded += 1;
132+
} catch (error) {
133+
tally.failed += 1;
134+
opts.logger?.warn?.(`dsh-mneme sleep: failed to record ledger triage for ${p.a?.id}/${p.b?.id}: ${String(error)}`);
135+
}
136+
}
137+
}
138+
return tally;
139+
}

‎dsh-mneme/lib/service.js‎

Lines changed: 7 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -3138,6 +3138,13 @@ export function createService({ store, mirror, config, onWrite, logger, document
31383138
saveConflictReviewed: (r) => store.saveConflictReviewed(r),
31393139
loadConflictReviewed: () => store.loadConflictReviewed(),
31403140
listConflictReviewed: (opts) => store.listConflictReviewed(opts),
3141+
// #641:冲突分诊账本。与上面 conflict_reviewed 同一条 bookkeeping 纪律——纯
3142+
// 测量记录,写它绝不触发 write hooks,否则 shadow 档的每轮记账都会把睡眠
3143+
// 调度器叫醒。
3144+
saveConflictLedgerEntry: (r) => store.saveConflictLedgerEntry(r),
3145+
setConflictLedgerStatus: (a, b, s) => store.setConflictLedgerStatus(a, b, s),
3146+
listConflictLedger: (opts) => store.listConflictLedger(opts),
3147+
countConflictLedger: (opts) => store.countConflictLedger(opts),
31413148
// Recall evaluation trail (方案 B): audit-bookkeeping semantics like the
31423149
// dream/recall passthroughs above — a recall_evals write is a snapshot, not
31433150
// a memory mutation, so it never triggers write hooks.

‎dsh-mneme/lib/settings.js‎

Lines changed: 12 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -198,6 +198,10 @@ const FEATURE_FLAG_BOOLEANS = [
198198
// 显式打开,面板可启停。阈值见 FEATURE_FLAG_NUMBER_RANGES 的
199199
// conflictAutoResolveMinSimilarity。
200200
"conflictAutoResolveEnabled",
201+
// Issue #641(beta 第一阶段):conflictLedgerMode / conflictLedgerDupMinSimilarity
202+
// 不在本表——前者是枚举键(FEATURE_FLAG_ENUMS),后者是数值键
203+
// (FEATURE_FLAG_NUMBER_RANGES),flagKeysFromSpec 会把三张表合成一份白名单,
204+
// 在这里重复登记会让同键被收两次(config-keys 的覆盖完整性锁抓过)。
201205
"trustEpistemicWeighting",
202206
// Plan #2: attach per-source {keyword, vector, bm25, final} signals to each
203207
// search result for transparency/debugging. Default off, purely decorative.
@@ -382,6 +386,9 @@ const FEATURE_FLAG_NUMBER_RANGES = {
382386
// Issue #603 第 4 层:自动裁决的相似度门槛。下界 0.85 与冲突检测阈值同源——
383387
// 低于它就不是「重复」而是「相似」,不该自动归档任何一条。
384388
conflictAutoResolveMinSimilarity: [0.85, 1],
389+
// Issue #641:T1(dup)档的相似度下限。检测阈值(normal 0.85)与自动档 autoMin
390+
// (0.95,#616 重测在现库覆盖为 0)之间的空带由它接管,下界与检测阈值同源。
391+
conflictLedgerDupMinSimilarity: [0.85, 1],
385392
// #275 容量预警的归档占比阈值(0 = 关):健康形态本身就落在 0.8~0.9,默认
386393
// 0.95 起才算「归档区吞掉活跃区」——0.9 会对着健康库天天报警(依据见 config.js
387394
// capacityWarning 的注释)。浮点键,同 conflictAutoResolveMinSimilarity 的缘由。
@@ -434,7 +441,11 @@ const FEATURE_FLAG_ENUMS = {
434441
localEmbedPooling: ["auto", "cls", "mean"],
435442
// M3 开局注入档位(spec §7):轻量档在消费侧压成 off,见 wiki/inject.js 的
436443
// resolveInjectTier——LIGHT_MODE_OFF 对平铺键一律赋 false,枚举值进去会静默失效。
437-
chorographyInject: ["off", "light", "full"]
444+
chorographyInject: ["off", "light", "full"],
445+
// Issue #641:冲突分诊账本档位。现阶段只放 off/shadow——「设了但没行为」的档位
446+
// 不进枚举(#616「假成功」教训:阈值覆盖为 0 时开了等于没开,用户以为功能坏了);
447+
// enforce(处置接线)随其实现 PR 一起进枚举。
448+
conflictLedgerMode: ["off", "shadow"]
438449
};
439450
const FEATURE_FLAG_STRING_MAX = 200;
440451

0 commit comments

Comments
 (0)