Skip to content

Commit 365e46b

Browse files
authored
Merge pull request #332 from heptaspirit/feat/254-level1-deny
feat(admission): 第 1 级确定性拒绝——密钥/PII 与空白噪声硬拒(#254)
2 parents 315092b + 6961659 commit 365e46b

22 files changed

Lines changed: 1080 additions & 83 deletions

‎dsh-mneme/README.md‎

Lines changed: 1 addition & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -432,6 +432,7 @@ dsh web
432432
| `llmAudit` | `{enabled:true, retentionDays:90}` | LLM 消耗审计(v0.4.6,默认开):每次后台 LLM 调用(`autoDream` / `autoSummarize` / `sleep` / `entityExtract`,对应 `operation_type` 为 `dream_consolidate` / `dream_summarize` / `dream_narrative`、`summarize_compress`、`sleep_conflict` / `sleep_pattern`、`entity_extract`)写 `llm_audit_logs`(tokens/duration/status/source);失败记 error 不阻塞;只读 API `/api/dsh-mneme/semantic/llm-audit` + `/llm-audit/stats` |
433433
| `scopeEnabled` | `false` | 作用域隔离总开关(v0.8.0,issue #17):memory_save 按会话身份写入 agent / workspace 标注(agentPreset / 工作区路径,registry 反查取不到回退 header.cwd,再取不到 NULL);去重键扩展含作用域三元——跨作用域同标题不再物理合并;检索按当前会话作用域加权(命中 ×1.25、他 scope ×0.5 保留可见)。也走 feature_flags 白名单(面板可启停) |
434434
| `strictScope` | `false` | 作用域硬过滤(v0.8.0 引入,v0.8.1 起只认显式声明;依赖 `scopeEnabled`):检索 / 注入 / 列表 / 单取四路过滤,**显式声明**收窄到他者作用域的记忆完全不可见;载体自动标注只降权保留可见——真正的物理隔离请用 sensitivity。会话身份解析不到时 fail-closed 只挡显式行。关闭时全部为软隔离(降权保留可见)。也走 feature_flags 白名单 |
435+
| `writeAdmission` | `{enabled:false, enforce:false}` | 写入准入(issue #254,默认关):把「这条该不该进库」前移到 LLM 之前。第 1 级是零 LLM 的确定性判据——空白 / 纯噪声 + 密钥 / PII(判据来源是 #164 A2,经 `sensitiveScan` 注入,本批只定义接口)。`enabled` 跑判据并落审计行(`llm_audit_logs` 的 `metadata.deny`),`enforce` 才真的拒(`store.save` 之前返回,`memory_save` 返回 `action:"denied"` + `reason`);只开 `enabled` = 仅告警、写入不拦。去重键命中不进第 1 级(归 write-update 放行),G1/G2 阈值只计量。也走 feature_flags 白名单 |
435436
| `conflictFreezeEnabled` | `false` | 冲突冻结(v0.4.4):dream 发现矛盾对不自动裁决,冻结进冲突队列;状态页「冲突队列」支持并排对比与人工确认(保留 A / 保留 B / 仅标记已处理,v0.8.0) |
436437
| `conflictFreezeMaxPending` | `100` | 冲突冻结队列最大挂起数(1-1000):超出后不再入队(防队列无限膨胀) |
437438
| `escapePromptVariables` | `true` | 注入文本花括号转义(v0.8.0 恢复,issue #162):注入边界把 `{{...}}` 转义,防止 hot memory / 记忆原文里的 Go template / Vue 语法触发宿主 interpolate 抛错卡死会话(v0.7.4 曾修复、v0.7.11 误删) |

‎dsh-mneme/docs/CONFIGURATION.md‎

Lines changed: 11 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -35,6 +35,17 @@
3535
| `llmAudit.enabled` | `true` | 后台 LLM 调用全量落 `llm_audit_logs`(tokens / 时长 / 状态 / 触发源) | 覆盖 autoDream / autoSummarize / sleep / entityExtract 与写入准入测量点;关 = 一行不写 |
3636
| `llmAudit.retentionDays` | `90` | 审计表滚动清理保留天数(≤3650) | 启动时清理旧行 |
3737

38+
## 写入准入(#254)
39+
40+
写入前判定「这条该不该进库」,与 `memoryQualityFilter` 的分工是**时点**不是判据:那个是写入后打分归档(扣分可以错,只影响排序与归档),这个是写入前判定(硬拒不能错)。两个键都默认关,分层是为了把「先观察」和「开始拦」分成两次上线。
41+
42+
| 键 | 默认 | 作用 | 开启后果 / 冲突 |
43+
|---|---|---|---|
44+
| `writeAdmission.enabled` | `false` | 跑第 1 级确定性判据:空白 / 纯噪声 + 密钥 / PII(判据来源是 #164 A2,经 `sensitiveScan` 注入) | 关 = 不判定、不拒绝,`evaluate` 返回与只计量阶段逐字段一致。命中 → 审计行带 `metadata.deny` |
45+
| `writeAdmission.enforce` | `false` | 命中时真的拒绝(`store.save` 之前返回) | 关 = 仅告警:判据照跑、审计照留、写入不拦(读审计时「`deny` 非空且 `decision=allow`」即这一档的指纹)。被拒写入不落库、不通知、不排嵌入,`memory_save` 返回 `action:"denied"` + `reason` |
46+
47+
第 1 级的判据面刻意收窄:**去重键命中不进第 1 级**(归 write-update 放行——同步近重复门跑在异步矛盾检测之前会把本该被裁决的矛盾直接拒掉),G1/G2 阈值也只是计量。两个键都走 feature_flags 白名单(面板可启停)。
48+
3849
## 蒸馏(会话 → 记忆)
3950

4051
| 键 | 默认 | 作用 | 开启后果 / 冲突 |

‎dsh-mneme/lib/api-standalone.js‎

Lines changed: 11 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -386,7 +386,7 @@ export function createStandaloneApi({ service, store, config = {}, logger, setti
386386
}
387387
}
388388
try {
389-
const { action, memory } = service.saveWithDedupe({
389+
const result = service.saveWithDedupe({
390390
type: body.type,
391391
title: body.title,
392392
content: body.content,
@@ -398,6 +398,16 @@ export function createStandaloneApi({ service, store, config = {}, logger, setti
398398
...(body.agent_scope !== undefined ? { agent_scope: body.agent_scope, agent_scope_source: "explicit" } : {}),
399399
...(body.workspace_scope !== undefined ? { workspace_scope: body.workspace_scope, workspace_scope_source: "explicit" } : {})
400400
});
401+
const { action } = result;
402+
// #254 写入准入:这条 HTTP 路径今天不带会话身份,evaluate 在无 sessionKey
403+
// 时直接早退,所以拦不到;仍然显式分支——将来真接上会话身份时,落到
404+
// `toApiList([null])` 上会变成 500,把「被拒」伪装成「服务器出错」,而
405+
// 这两件事对调用方的处置完全不同(改内容 vs 重试)。
406+
if (action === "denied") {
407+
sendJson(res, 422, { error: "write-rejected", reason: result.reason });
408+
return;
409+
}
410+
const { memory } = result;
401411
// action 随行透出(created/merged):memory_save 工具语义对齐所需,
402412
// 附加键对既有消费方(CLI add 等)向后兼容。
403413
sendJson(res, action === "created" ? 201 : 200, { ...service.toApiList([memory])[0], action });

‎dsh-mneme/lib/api.js‎

Lines changed: 6 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -135,9 +135,14 @@ export function createApi(ctx, service, settings, commands, embedder, semantic =
135135
];
136136
// 嵌套键在 kv 里按点号平铺("memoryQualityFilter.enabled"),运行时 cfg 里
137137
// 是嵌套对象,effective 从对象子字段取值;其余键照旧从 cfg 顶层取。
138+
// 这张表必须与 settings.js 白名单里的点号键一一对应:#254 加键时漏了这里,
139+
// effective 会静默少两个键(configFlagValue 取不到 undefined 就不写进去),
140+
// 面板上看不出来、PUT 也存不进去——test/api.test.js 的计数锁就是钉这件事的。
138141
const NESTED_FLAG_PATHS = {
139142
"memoryQualityFilter.enabled": ["memoryQualityFilter", "enabled"],
140-
"llmAudit.enabled": ["llmAudit", "enabled"]
143+
"llmAudit.enabled": ["llmAudit", "enabled"],
144+
"writeAdmission.enabled": ["writeAdmission", "enabled"],
145+
"writeAdmission.enforce": ["writeAdmission", "enforce"]
141146
};
142147
function configFlagValue(key) {
143148
const path = NESTED_FLAG_PATHS[key];

‎dsh-mneme/lib/client.js‎

Lines changed: 14 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -466,6 +466,13 @@ window.__ModuleLoader__.load({
466466
"memory.features.memoryQualityFilter.enabled.hint": "低价值记忆自动归档,注入按质量降权",
467467
"memory.features.llmAudit.enabled": "后台调用审计",
468468
"memory.features.llmAudit.enabled.hint": "记录巩固/总结的后台模型调用与 token 消耗",
469+
// #254:写入准入两层。检测关时整条路径不碰;检测开、拦截关 = 仅告警 +
470+
// 留审计;两个都开才真拦。文案要写清「只留审计」与「真拦下」的区别,
471+
// 否则操作者会以为打开检测就已经在拦。
472+
"memory.features.writeAdmission.enabled": "写入准入判定",
473+
"memory.features.writeAdmission.enabled.hint": "写入前判空白/噪声,命中留审计(不拦)",
474+
"memory.features.writeAdmission.enforce": "写入准入拦截",
475+
"memory.features.writeAdmission.enforce.hint": "真拦下命中的写入;关闭时只留审计不拦",
469476
"memory.features.bm25SearchEnabled": "BM25 关键词检索",
470477
"memory.features.bm25SearchEnabled.hint": "传统关键词打分检索,与向量召回互补",
471478
"memory.features.conflictFreezeEnabled": "冲突冻结",
@@ -890,6 +897,12 @@ window.__ModuleLoader__.load({
890897
"memory.features.memoryQualityFilter.enabled.hint": "Archive low-value memories automatically; injection downranks by quality",
891898
"memory.features.llmAudit.enabled": "Background call audit",
892899
"memory.features.llmAudit.enabled.hint": "Log background model calls and token usage from consolidation / summaries",
900+
// #254 — two layers: enabled runs the check (audit only), enforce actually
901+
// blocks. The hints must keep that difference explicit.
902+
"memory.features.writeAdmission.enabled": "Write admission checks",
903+
"memory.features.writeAdmission.enabled.hint": "Flag blank / noise writes before storing, with an audit row (never blocks)",
904+
"memory.features.writeAdmission.enforce": "Write admission enforcement",
905+
"memory.features.writeAdmission.enforce.hint": "Actually reject flagged writes; off keeps the audit row only",
893906
"memory.features.bm25SearchEnabled": "BM25 keyword search",
894907
"memory.features.bm25SearchEnabled.hint": "Classic keyword scoring, complementary to vector recall",
895908
"memory.features.conflictFreezeEnabled": "Conflict freezing",
@@ -2072,7 +2085,7 @@ window.__ModuleLoader__.load({
20722085
// test/inject-parent-gate.test.js 钉住。
20732086
const FEATURE_CHILDREN = { autoInject: ["injectGuidanceEnabled", "continuityRescueEnabled"] };
20742087
const FEATURE_GROUPS = [
2075-
{ key: "group.core", items: ["autoInject", "autoSummarize", "hotMemoryEnabled", "memoryQualityFilter.enabled", "llmAudit.enabled"] },
2088+
{ key: "group.core", items: ["autoInject", "autoSummarize", "hotMemoryEnabled", "memoryQualityFilter.enabled", "llmAudit.enabled", "writeAdmission.enabled", "writeAdmission.enforce"] },
20762089
{ key: "group.enhance", items: ["entityExtractionEnabled", "codingRetrospect", "rerankEnabled", "resilientModelDownload", "searchSemanticDedup", "bm25SearchEnabled", "heatEnabled", "documentMemoryEnabled"] },
20772090
{ key: "group.dream", items: ["autoDream", "sleepModeEnabled"] },
20782091
// v0.8.0 A4(issue #17):作用域隔离组——标注总开关 + 严格硬过滤。

‎dsh-mneme/lib/config.js‎

Lines changed: 23 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -588,6 +588,29 @@ export const Config = z.object({
588588
retentionDays: z.natural().min(1).max(3650).default(90)
589589
}).default({}),
590590

591+
// --- write admission (#254) ------------------------------------------------
592+
// 写入准入:把「这条该不该进库」前移到 LLM 之前。与 memoryQualityFilter 的分工
593+
// 是时点不是判据——那个是**写入后**打分归档(扣分可以错,只影响排序与归档),
594+
// 这个是**写入前**判定(硬拒不能错)。
595+
//
596+
// 两个开关都默认关(验收第 1 条「默认关零行为变化」):
597+
// enabled — 跑第 1 级确定性判据。关时 evaluate 的返回与只计量那一阶段逐字段
598+
// 一致,写入路径完全不碰。
599+
// enforce — 命中时真的拒绝。关时判据照跑、审计照留,决策回落 allow(仅告警)。
600+
// 读审计时「metadata.deny 非空且 metadata.decision=allow」就是这一档的指纹。
601+
// 分层是为了能把「先观察」和「开始拦」分成两次上线:enforce 打开前先在真实流量
602+
// 里看误杀面,而不是靠回滚开关当保险。
603+
//
604+
// 第 1 级的判据面刻意收窄到两类:密钥/PII(#164 A2 是判据来源,经
605+
// createWriteAdmission 的 sensitiveScan 注入;本批只定义它怎么被消费)与空白/
606+
// 纯噪声文本。去重键命中**不**进第 1 级——按维护者 09-22 的判定归 write-update
607+
// 放行(2606.24535 的失效模式:同步近重复门跑在异步矛盾检测之前,把本该被裁决
608+
// 的矛盾直接拒掉);G1/G2 的阈值继续只计量,等遥测有分布再单独提。
609+
writeAdmission: z.object({
610+
enabled: z.boolean().default(false),
611+
enforce: z.boolean().default(false)
612+
}).default({}),
613+
591614
// --- recall evaluation: test-result storage (v0.4.6, 方案 B) --------------
592615
// Separate retrieval evaluation snapshots from the production recall audit.
593616
// When false (default) evaluateRetrieval still computes precision/recall/mrr

‎dsh-mneme/lib/index.js‎

Lines changed: 10 additions & 4 deletions
Original file line numberDiff line numberDiff line change
@@ -272,10 +272,16 @@ export const apply = (ctx, config) => {
272272
documentIndex.remove();
273273
}
274274

275-
// 写入准入实例:本批次只做计量(决策恒放行、写审计行),所以不需要新开关——它
276-
// 不改变任何写入行为,也不新增拦截分支;既有的 llmAudit.enabled 关掉时它同样
277-
// 不写(那个开关连审计行的启动期清理一起关掉)。第二阶段把拦截打开时才按仓库
278-
// 惯例引入 opt-in 默认关的配置键,届时只改这一个实例的构造与 service 的调用点。
275+
// 写入准入实例(#254)。两个开关 writeAdmission.enabled / .enforce 都默认关;
276+
// 关时它的返回与只计量那一阶段逐字段一致,写入路径完全不碰。既有的
277+
// llmAudit.enabled 关掉时它同样既不判也不写(那个开关连审计行的启动期清理一起
278+
// 关掉,在无保留期的表里按写入频次增长是不能接受的)。
279+
//
280+
// sensitiveScan 是密钥 / PII 那一类判据的注入点。按 #254 验收第 4 条它是 #164 A2
281+
// 的判据来源(A2 记在维护者排期里),所以本批不实现它,只把接口形状定在这里——
282+
// 接上时只改这一行:
283+
// createWriteAdmission({ ..., sensitiveScan: createSensitiveScan({ config: cfg }) })
284+
// 缺省 null 时第 1 级只跑空白 / 噪声两类判据,其余一切照旧。
279285
const writeAdmission = createWriteAdmission({ store, config: cfg, logger: ctx.logger });
280286
const service = createService({ store, mirror, config: cfg, logger: ctx.logger, documentIndex, writeAdmission });
281287

‎dsh-mneme/lib/service.js‎

Lines changed: 23 additions & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -1250,9 +1250,12 @@ export function createService({ store, mirror, config, onWrite, logger, document
12501250
scheduleEmbed(result);
12511251
return { action: "merged", memory: result };
12521252
}
1253-
// #254 写入准入(第一阶段只计量):决策恒 allow、不拦写入,只把两个闸门的
1254-
// 测量点算出来。放在 store.save 之前——第二阶段要在这里拦下写入,接缝先摆好。
1255-
// 计量是旁路:任何一环失败只 warn,绝不反噬写入(与质量打分同款容错)。
1253+
// #254 写入准入:决策形状由 write-admission.js 一次定死(阶段一定死、之后只加
1254+
// 分支),这里只做两件事——先问决策,再在 enforce 命中时**在 store.save 之前**
1255+
// 返回。放在 store.save 之前是这条闸门的意义所在:写进去再删等于没拦,而且中间
1256+
// 那一瞬的注入/检索面已经暴露了。
1257+
// 计量是旁路,拒绝不是:evaluate 抛异常按「不判定」处理(宁可漏拦也不能让判据
1258+
// 故障把写入变成不可用),record 抛异常同样只 warn(审计失败不能反噬写入)。
12561259
let admission = null;
12571260
if (writeAdmission) {
12581261
try {
@@ -1261,6 +1264,23 @@ export function createService({ store, mirror, config, onWrite, logger, document
12611264
try { logger?.warn?.(`[dsh-mneme] write admission evaluate failed: ${String(e)}`); } catch { /* 不反噬 */ }
12621265
}
12631266
}
1267+
// 第 1 级硬拒(enforce 打开且判据命中):这次写入不落库、不通知、不排嵌入、
1268+
// 不抽实体。审计行仍然要落——拒绝面是这条闸门唯一可解释性的来源(验收第 2 条
1269+
// 「被拒写入有审计与明确原因、可解释不静默丢弃」)。memoryId 传 null:这次写入
1270+
// 没有产生任何行,related_memory_ids 必须空着,挂一个不存在的 id 就是造虚账。
1271+
// reason 随返回值透出,工具层据此给模型一句可行动的拒绝理由。
1272+
if (admission?.decision === "deny") {
1273+
try {
1274+
writeAdmission.record({
1275+
sessionKey: memory._sessionKey,
1276+
verdict: admission,
1277+
memoryId: null
1278+
});
1279+
} catch (e) {
1280+
try { logger?.warn?.(`[dsh-mneme] write admission record failed: ${String(e)}`); } catch { /* 不反噬 */ }
1281+
}
1282+
return { action: "denied", reason: admission.deny?.reason ?? "denied", deny: admission.deny ?? null, memory: null };
1283+
}
12641284
const created = store.save({
12651285
type: memory.type,
12661286
title: memory.title,

‎dsh-mneme/lib/settings.js‎

Lines changed: 6 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -100,7 +100,12 @@ const FEATURE_FLAG_BOOLEANS = [
100100
// 子字段。kv 按点号键平铺存("memoryQualityFilter.enabled": false),index.js
101101
// 合并时展开回嵌套对象,api.js 的 effective 从对象子字段取值。
102102
"memoryQualityFilter.enabled",
103-
"llmAudit.enabled"
103+
"llmAudit.enabled",
104+
// Issue #254:写入准入(第 1 级确定性拒绝)。两个键分层——enabled 跑判据、
105+
// enforce 真拦;都默认关。同上,点号键平铺存、合并时展开回
106+
// writeAdmission 对象。
107+
"writeAdmission.enabled",
108+
"writeAdmission.enforce"
104109
];
105110
// 整数开关的闭区间,与 config.js 里 z.natural().min().max() 对齐。
106111
const FEATURE_FLAG_INT_RANGES = {

0 commit comments

Comments
 (0)