Skip to content

Commit a3b4def

Browse files
committed
feat(380): 注入前判定 preInjectGate——意见/立场记忆先判定后处置,opt-in 默认关
1 parent 7f07bba commit a3b4def

17 files changed

Lines changed: 725 additions & 12 deletions

‎dsh-mneme/CHANGELOG.md‎

Lines changed: 2 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -18,7 +18,8 @@
1818

1919
## 🆕 新增
2020

21-
- **standalone API `GET /context`(issue #370,#363 承诺)**:把宿主注入管线开放为端点——Mneme-Bridge 这类网页端桥接可以删掉自建的 pins 启发式了。`GET /context?q&topK&threshold&agent_scope&workspace_scope` 返回 `injectCandidates` 全语义(优先级分层 / 编码门控 / heat / scope 软加权 / hybrid 语义路 / pin 前置)+ 画像 + 规则的结构化聚合 `{profile, rules, items, pinnedCount}`,不含渲染文本(语言 / 时间前缀 / 热记忆是宿主会话概念,调用方自渲染)。与宿主注入的两点 HTTP 面差异:查询向量即时嵌入——首次调用即走语义路,不等异步 prefetch(宿主注入渲染必须同步);不做跨轮轮换(daemon 无会话状态,调用方自管)。`threshold` 是 importance 阈值(默认 3,与 `/search` 的相似度 threshold 同名不同义);scope 两参全缺 = 不解析(软加权与 strictScope 硬过滤都不触发,与宿主会话身份取不到时同构),任一给出则缺维按 fail-closed。recall_runs 记账随 `injectCandidates` 内建(#217 曝光型访问事件,`mode='inject'` 与检索命中同表分账)——宿主注入同样记,端点自动同口径。`/search` 顺手补 scope 透传(`searchMemories` 本就收参、8790 此前没有入口;不传参数行为逐字节不变);`createStandaloneApi` 新增可选 `embedder` 注入(宿主与 `dsh-mneme-serve` 各传 semantic 装配的同一实例),缺省时 `/context` 降级规则 + BM25 档,嵌入失败同理绝不 500。宿主外部访问与 daemon 同享该路由;测试锁形状(四键)、空 q 规则档、threshold 语义、pin 前置、scope 硬过滤、嵌入接线与失败降级,daemon 侧全链路含 recall_runs 分账锁。
21+
- **注入前判定 `preInjectGate`(opt-in 默认关;issue #380)**:意见/立场记忆**先判定后处置**——注入候选出池后由 `src/preinject-gate.js` 异步预取一次**池级** LLM 判定(E12 D1 协议:意见/立场框架而非 query 冲突框架,判定时不给模型看任何标记,先判定后处置),标出携带意见/立场的条目。两级语义照 #254:`enabled` 只判定+落审计(`llm_audit_logs` 的 `trigger_source=preInjectGate`,被标记者照常注入,观察档先看真实负载的意见占比与误杀面),`enforce` 才真过滤(E12 实测过滤 −24.4pp 是三阶段考卷唯一过预注册判据的处置)。注入渲染保持同步:判定 fire-and-forget、按查询缓存下一轮生效,首轮/判定失败/解析失败一律全量放行——防线失效绝不丢注入;判定面=注入面(只判本次实际候选),dispose 随注入生命周期清缓存。开关纪律照旧:config schema 与 settings 白名单成对、API 点号键进 `NESTED_FLAG_PATHS`(往返锁)、旗标计数锁 +2、lightMode 预设强制关。
22+
(issue #370,#363 承诺)**:把宿主注入管线开放为端点——Mneme-Bridge 这类网页端桥接可以删掉自建的 pins 启发式了。`GET /context?q&topK&threshold&agent_scope&workspace_scope` 返回 `injectCandidates` 全语义(优先级分层 / 编码门控 / heat / scope 软加权 / hybrid 语义路 / pin 前置)+ 画像 + 规则的结构化聚合 `{profile, rules, items, pinnedCount}`,不含渲染文本(语言 / 时间前缀 / 热记忆是宿主会话概念,调用方自渲染)。与宿主注入的两点 HTTP 面差异:查询向量即时嵌入——首次调用即走语义路,不等异步 prefetch(宿主注入渲染必须同步);不做跨轮轮换(daemon 无会话状态,调用方自管)。`threshold` 是 importance 阈值(默认 3,与 `/search` 的相似度 threshold 同名不同义);scope 两参全缺 = 不解析(软加权与 strictScope 硬过滤都不触发,与宿主会话身份取不到时同构),任一给出则缺维按 fail-closed。recall_runs 记账随 `injectCandidates` 内建(#217 曝光型访问事件,`mode='inject'` 与检索命中同表分账)——宿主注入同样记,端点自动同口径。`/search` 顺手补 scope 透传(`searchMemories` 本就收参、8790 此前没有入口;不传参数行为逐字节不变);`createStandaloneApi` 新增可选 `embedder` 注入(宿主与 `dsh-mneme-serve` 各传 semantic 装配的同一实例),缺省时 `/context` 降级规则 + BM25 档,嵌入失败同理绝不 500。宿主外部访问与 daemon 同享该路由;测试锁形状(四键)、空 q 规则档、threshold 语义、pin 前置、scope 硬过滤、嵌入接线与失败降级,daemon 侧全链路含 recall_runs 分账锁。
2223
- **daemon 向量检索(#365,#363)**:`dsh-mneme-serve` 的 `/search` 接入完整语义管线——embedder/reranker 装配与 boot 自动回填从 `index.js` **纯搬移**至 `src/semantic.js`(宿主与 daemon 共用同一份,调用时序契约原样;`backfillMissingEmbeddings` 经 index.js barrel 再出口,测试调用方零改动),daemon 侧新增 `createVectorIndex` 接线与 `--embed` 参数:`local`(默认,自管 runtime/嵌入模型缺失时经 `provisionRuntime` download 档自动取件,可用 `DSH_MNEME_RUNTIME_TARBALL_DIR`/`DSH_MNEME_RUNTIME_MIRROR` 换离线/镜像来源;失败降级关键词并打可操作日志)、`ollama`、`openai`(读宿主面板 vector-config)、`off`。向量轴有注入假 embedder 的回归锁;`createServeRuntime` 因此转为 async、语义键默认值在 `daemonSemanticCfg` 逐键锚定 config.js。
2324
- **独立服务 daemon(`dsh-mneme-serve`,#363)**:mneme 现在能在 DSH 宿主之外常驻——`src/serve.js` 的 `createServeRuntime` 用最小装配(store → settings → mirror → service → maintenance → standalone API,每步锚定 index.js 装配行号)把数据面跑成独立进程,第三方集成(网页端桥接等)不必为挂载记忆库而保持 DSH 开机。第一期刻意无 LLM:巩固(autoDream)与蒸馏结构性不在 daemon 内,这是与宿主「单写者」的机械保证,不靠用户自觉。token 与 DSH 面板/CLI 共用同一 kv 凭证,端口/主机解析链与外部访问一致;`createStandaloneApi` 新增 `strictPort` 选项——daemon 的配置端口被占即报错退出而非顺延(第三方把 URL 写死,静默换端口等于坏),不传该选项的宿主旁路行为不变。`/search` 照常落 recall_runs,第三方检索的复用统计不缺数。多进程共存(daemon 与宿主同库互写互读)有专门回归锁;已知限制(双进程去重竞态、镜像双写、版本偏斜)见 docs/DAEMON.md。
2425
- **heat 注入侧拆独立开关(`injectHeatEnabled`,opt-in 默认关;issue #218)**:heat 乘进注入排序在真实年龄混合的库上会饿死老约束(对照实验里 importance-only 排序的注入遵从显著更优,现行量级表现为拟合参数),注入侧因此拆出独立开关:默认关时 `heatEnabled` 开启后热度字段 / sleep 保护 / 面板投影照常,但注入排序乘数恒 1(与 heat 关闭逐字节一致,平价锁);显式开启恢复「层内乘 heat」的旧序(老用户回滚口)。召回侧时钟(touchLastAccess)与 sleep 降级联判不受本键影响。开关纪律照旧:config schema 与 settings 白名单成对注册,旗标计数锁同步。

‎dsh-mneme/README.md‎

Lines changed: 1 addition & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -433,6 +433,7 @@ dsh web
433433
| `scopeEnabled` | `false` | 作用域隔离总开关(v0.8.0,issue #17):memory_save 按会话身份写入 agent / workspace 标注(agentPreset / 工作区路径,registry 反查取不到回退 header.cwd,再取不到 NULL);去重键扩展含作用域三元——跨作用域同标题不再物理合并;检索与注入排序按当前会话作用域加权(命中 ×1.25、他 scope ×0.5 保留可见,issue #339 补齐注入通道)。也走 feature_flags 白名单(面板可启停) |
434434
| `strictScope` | `false` | 作用域硬过滤(v0.8.0 引入,v0.8.1 起只认显式声明;依赖 `scopeEnabled`):检索 / 注入 / 列表 / 单取四路过滤,**显式声明**收窄到他者作用域的记忆完全不可见;载体自动标注只降权保留可见——真正的物理隔离请用 sensitivity。会话身份解析不到时 fail-closed 只挡显式行。关闭时全部为软隔离(降权保留可见)。也走 feature_flags 白名单 |
435435
| `writeAdmission` | `{enabled:false, enforce:false}` | 写入准入(issue #254,默认关):把「这条该不该进库」前移到 LLM 之前。第 1 级是零 LLM 的确定性判据——空白 / 纯噪声 + 密钥 / PII(判据来源是 #164 A2,经 `sensitiveScan` 注入,本批只定义接口)。`enabled` 跑判据并落审计行(`llm_audit_logs` 的 `metadata.deny`),`enforce` 才真的拒(`store.save` 之前返回,`memory_save` 返回 `action:"denied"` + `reason`);只开 `enabled` = 仅告警、写入不拦。去重键命中不进第 1 级(归 write-update 放行),G1/G2 阈值只计量。也走 feature_flags 白名单 |
436+
| `preInjectGate` | `{enabled:false, enforce:false}` | 注入前判定(issue #380,默认关):意见/立场记忆**先判定后处置**——注入候选出池后异步预取一次池级 LLM 判定(E12 协议:意见/立场框架,不给模型看任何标记)。`enabled` 只判定+落审计(`llm_audit_logs` 的 `trigger_source=preInjectGate`,先在真实负载里看意见占比与误杀面),`enforce` 才真过滤(被标记者不注入);E12 实测过滤 −24.4pp 是唯一过预注册判据的处置。判定按查询缓存、下一轮生效,首轮/判定失败一律全量放行(防线失效绝不丢注入)。也走 feature_flags 白名单,lightMode 预设强制关 |
436437
| `conflictFreezeEnabled` | `false` | 冲突冻结(v0.4.4):dream 发现矛盾对不自动裁决,冻结进冲突队列;状态页「冲突队列」支持并排对比与人工确认(保留 A / 保留 B / 仅标记已处理,v0.8.0) |
437438
| `conflictFreezeMaxPending` | `100` | 冲突冻结队列最大挂起数(1-1000):超出后不再入队(防队列无限膨胀) |
438439
| `escapePromptVariables` | `true` | 注入文本花括号转义(v0.8.0 恢复,issue #162):注入边界把 `{{...}}` 转义,防止 hot memory / 记忆原文里的 Go template / Vue 语法触发宿主 interpolate 抛错卡死会话(v0.7.4 曾修复、v0.7.11 误删) |

‎dsh-mneme/docs/CONFIGURATION.md‎

Lines changed: 4 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -85,6 +85,8 @@
8585
| `injectRotationTurns` | `0` | 跨轮轮换:最近 N 轮注入过的不再优先(#205) | opt-in;会话边界自动重置 |
8686
| `injectContentMaxChars` | `300` | 单条正文截断上限(60–4000,#164①) | 截断带「上限/原长/全文指引」提示,不静默 |
8787
| `injectUncertaintyAdaptive` | `false` | 确定性强的话题收缩注入条数(减半、下限 1,#239 第 5 项) | 只做单向收缩,绝不越过 `maxInjectedItems` |
88+
| `preInjectGate.enabled` **light** | `false` | 注入前判定(#380):候选出池后异步预取一次池级 LLM 判定,标出携带**意见/立场**的条目(E12 协议,先判定后处置、不给模型看标记) | 关 = 零 LLM 调用、零行为变化;开 = 每轮注入路径 +1 次 LLM 调用,判定结果落 `llm_audit_logs`(`trigger_source=preInjectGate`),enforce 关时被标记者照常注入(观察档) |
89+
| `preInjectGate.enforce` **light** | `false` | 被判定为意见/立场的候选**不注入**(真过滤) | 依赖 `preInjectGate.enabled`;判定缓存按查询缓存、下一轮生效,首轮/判定失败/解析失败一律全量放行——防线失效绝不丢注入 |
8890
| `injectGuidanceEnabled` **light** | `true` | 工具描述 + order 150 系统段讲「何时查/何时写」(#249) | `autoInject` 子开关;lightMode 强制关 |
8991
| `continuityRescueEnabled` **light** | `false` | 压缩边缘双落点:连续性提案落库 + 追加注入(#249 N3) | opt-in(新注入表面);`autoInject` 子开关;订阅宿主压缩事件,无该时机则降级为持久规则 |
9092
| `pinnedInjectBudget` | `0` | 约束/偏好 pin 池独立预算(0–5,#249 B1) | 0 = 关;pin 不占 `maxInjectedItems` 名额 |
@@ -245,7 +247,8 @@
245247
`entityExtractionEnabled` · `autoDream` · `sleepModeEnabled` · `rerankEnabled` ·
246248
`autoReindexOnBoot` · `hybridInject` · `injectGuidanceEnabled` · `searchSemanticDedup` ·
247249
`selectiveInjectEnabled` · `bm25SearchEnabled` · `entityRecallEnabled` ·
248-
`dreamNarrativeEnabled` · `documentMemoryEnabled` · `heatEnabled` · `continuityRescueEnabled`
250+
`dreamNarrativeEnabled` · `documentMemoryEnabled` · `heatEnabled` · `continuityRescueEnabled` ·
251+
`preInjectGate.enabled` · `preInjectGate.enforce`
249252

250253
预设只是默认值而非强制:用户显式写进 feature_flags 的值在装配顺序上后展开、仍然生效
251254
(「用户开关 > 轻量预设 > bundle 配置」)。

‎dsh-mneme/lib/api.js‎

Lines changed: 4 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -142,7 +142,10 @@ export function createApi(ctx, service, settings, commands, embedder, semantic =
142142
"memoryQualityFilter.enabled": ["memoryQualityFilter", "enabled"],
143143
"llmAudit.enabled": ["llmAudit", "enabled"],
144144
"writeAdmission.enabled": ["writeAdmission", "enabled"],
145-
"writeAdmission.enforce": ["writeAdmission", "enforce"]
145+
"writeAdmission.enforce": ["writeAdmission", "enforce"],
146+
// #380:注入前判定与 writeAdmission 同构的点号键。
147+
"preInjectGate.enabled": ["preInjectGate", "enabled"],
148+
"preInjectGate.enforce": ["preInjectGate", "enforce"]
146149
// sensitiveScanEnabled(#164 A2)是顶层扁平键,不需要进这张表——走 configFlagValue
147150
// 的默认分支即可。
148151
};

‎dsh-mneme/lib/config.js‎

Lines changed: 25 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -653,6 +653,25 @@ export const Config = z.object({
653653
enforce: z.boolean().default(false)
654654
}).default({}),
655655

656+
// --- #380: pre-injection gate (preInjectGate) -------------------------------
657+
// 注入前判定:意见/立场记忆先判定后处置(E12 D1 裁决落地,opt-in 默认关)。
658+
// 两级语义与上面的 writeAdmission 同构,落点在注入面而非写入面:
659+
// enabled — 每轮注入候选出池后异步预取一次池级 LLM 判定(E12 口径:1 次调用
660+
// 判整池),标出携带意见/立场的条目。enforce 关时被标记者照常注入(仅审计
661+
// ——先在真实负载里看意见占比与误杀面,再决定开不开拦截)。
662+
// enforce — 被判定为意见/立场的候选不注入(真过滤)。E12 实测:过滤是唯一过
663+
// 预注册判据的处置(D1 −24.4pp;D2 标记 −6.8pp 且与 D1 差 +17.6pp,给模型
664+
// 看标记的线已被 E2/E3 关闭,本闸不做标记)。
665+
// 同步约束:注入渲染必须保持同步(systemPrompt contexts 无异步 text),判定
666+
// 结果按查询缓存、下一轮生效;首轮/判定失败/解析失败一律全量放行——防线失效
667+
// 绝不丢注入功能。判定不可用 ≠ 拦截一切,E1 已证个性化同灭无效。
668+
// 也走 feature_flags(点号键平铺),面板可启停;lightMode 默认关(额外 LLM
669+
// 调用 + 延迟一轮生效,轻量档不默认背)。
670+
preInjectGate: z.object({
671+
enabled: z.boolean().default(false),
672+
enforce: z.boolean().default(false)
673+
}).default({}),
674+
656675
// --- #164 A2: secret / PII scan at the write boundary ----------------------
657676
// 写入边界的密钥 / PII 判据(src/sensitive-scan.js)自身的闸。与 writeAdmission
658677
// 的 enabled 分开是有意的:那一个管 #254 第 1 级的空白 / 噪声判据,本键管 A2 这
@@ -796,7 +815,12 @@ const LIGHT_MODE_OFF = [
796815
// 轻量档(小模型 / 小上下文)最不该再多一份注入物。这是预设给的默认值、不是强制:
797816
// 用户显式勾选仍然赢(合并顺序「用户开关 > 轻量预设 > bundle 配置」,同
798817
// injectGuidanceEnabled)。
799-
"continuityRescueEnabled"
818+
"continuityRescueEnabled",
819+
// #380:注入前判定在轻量档默认关——每轮多一次池级 LLM 调用且延迟一轮生效,
820+
// 轻量档(小模型 / 小上下文 / 成本敏感)不默认背这份成本。预设默认值非强制,
821+
// 用户显式勾选仍然赢(合并顺序同上)。
822+
"preInjectGate.enabled",
823+
"preInjectGate.enforce"
800824
];
801825

802826
/**

‎dsh-mneme/lib/index.js‎

Lines changed: 22 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -8,7 +8,7 @@ import { createWriteAdmission } from "./write-admission.js";
88
// #164 A2:写入边界的密钥 / PII 判据,注入给上面的写入准入。
99
import { createSensitiveScan } from "./sensitive-scan.js";
1010
import { createTools } from "./tools.js";
11-
import { createInjector } from "./inject.js";
11+
import { createInjector, setPreinjectCallLLM } from "./inject.js";
1212
import { createContinuityRescue } from "./continuity.js";
1313
import { createSummarizer } from "./summarize.js";
1414
import { createDreamScheduler } from "./dream.js";
@@ -440,6 +440,27 @@ export const apply = (ctx, config) => {
440440
// a torn-down context.
441441
disposers.push(() => semantic.dispose()); // #118 重试计时器 + boot 回填计时器(搬入 semantic.js 后由它自持)
442442

443+
// Issue #380:preInjectGate 的 LLM 适配器。promptCtx(systemPrompt 注入点)没有
444+
// llm 句柄,注入器拿不到——这里在 apply 作用域装配(entity extractor 同款),
445+
// 经 setPreinjectCallLLM 转交。仅 preInjectGate.enabled 开启且 ctx.llm 存在时
446+
// 注入;开闸但没接上模型时 warn(#108 教训:静默不可见比失败更糟)。适配器合同
447+
// callLLM(messages, options) => Promise<string|undefined> 与 entity adapter 一致:
448+
// 路由解析(agentDefaultModel 回退)与审计记账在适配器内完成,判定器只认文本。
449+
if (cfg.preInjectGate?.enabled === true) {
450+
if (!ctx.llm) {
451+
ctx.logger?.warn?.("[dsh-mneme] preInjectGate.enabled=true but ctx.llm unavailable — pre-injection gate will not judge (inject proceeds unfiltered)");
452+
} else {
453+
const streamPreinjectText = createEntityStreamAdapter({
454+
llm: ctx.llm,
455+
agentDefaultModel: ctx.agentDefaultModel,
456+
logger: ctx.logger,
457+
service,
458+
config: cfg
459+
});
460+
setPreinjectCallLLM(streamPreinjectText);
461+
}
462+
}
463+
443464
ctx.inject(["systemPrompt"], (promptCtx) => {
444465
if (cfg.autoInject) disposers.push(createInjector(promptCtx, service, settings, cfg));
445466
});

0 commit comments

Comments
 (0)