Skip to content

Commit 8a7a0e5

Browse files
authored
feat(summarize): 成本感知级联的零 LLM 预判 + 每会话 run 预算(issue #239) (#251)
- summarizeMinWindowChars(默认 0=关):蒸馏前按窗口可蒸馏文本长度做零 LLM 预判,不足阈值直接跳过调用——短窗口交给模型的产出多是泛泛而谈,代价却是一次 完整调用。被挡下的窗口照常消费游标(否则每个 turn/end 都会重评同一段短文本), skip 原因写进 llm_audit_logs(status=skipped / window-too-small)。此前除最小 间隔外,所有早退都是静默 return,「这一轮为什么没蒸馏」基本查不到。 - summarizeMaxRunsPerSession(默认 0=不限):每会话 run 预算,只统计真正发起过 LLM 调用的 run——被零 LLM 预判挡下的窗口不占额度;aborted 调用按既有 lastRunAt 口径回滚;游标刻意不消费,预算调高或宿主重启后仍能蒸馏到该窗口。 - 两键在 config.js schema 与 settings.js 整数白名单成对落位;api.test.js 的旗标 计数锁 56 → 58;README 配置表补两行;CHANGELOG 新建 [Unreleased] 段。 - 测试:summarize.test.js 新增 5 例(默认关不改变行为 / 短窗口拦下 + 审计 + 消费游标 / 达阈值放行 / 预算用尽 / 零成本窗口不占额度)。变异测试自证:同时 关掉两个闸门 → 3 例转红(43/3),还原即 46/0 绿。 - issue #239 的第 4 项(错峰队列)与第 5 项(注入侧不确定性召回)留后续批次。
1 parent 1ae0272 commit 8a7a0e5

10 files changed

Lines changed: 221 additions & 7 deletions

File tree

‎dsh-mneme/CHANGELOG.md‎

Lines changed: 2 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -6,6 +6,8 @@
66

77
- **注入命中留痕与注入命中率(issue #217 增量,2026-09-19 口径确认)**:注入终选集落一行 `mode='inject'` 审计(candidates 存实际注入条目,跟随 `recallRecordDefault` 不设新配置键;`heatEnabled=false` 时照写——留痕与消费解耦);recall-stats 新增注入口径(轮数 / 注入条数 / 槽位填充率 `slotFillRate`,注入候选计入 Top-N 与僵尸零曝光判定);面板「记忆复用」卡追加注入段(窗口内无注入行时省略)。
88

9+
- **蒸馏的成本感知级联与有界检查点(issue #239,第一批)**:两个 opt-in 旋钮,默认 `0` = 行为逐字节不变。① `summarizeMinWindowChars`——**蒸馏前的零 LLM 预判**:窗口内可蒸馏文本不足阈值时直接跳过 LLM 调用(纯规则判定、无模型参与;被挡下的窗口照常消费游标,否则每个 `turn/end` 都会重评同一段短文本),skip 原因写进 `llm_audit_logs`(`status='skipped'` / `error_message='window-too-small'`)——此前只有最小间隔一档留痕,「这一轮为什么没蒸馏」基本不可观测;② `summarizeMaxRunsPerSession`——每会话最多发起多少次蒸馏,只统计**真正发起过** LLM 调用的 run(被预判挡下的窗口不占额度),aborted 调用按既有口径回滚,游标刻意不消费(预算恢复或重启后仍能蒸馏到该窗口)。两键在 `config.js` schema 与 `settings.js` 整数白名单成对落位,面板可调;第 4 项(错峰队列)与第 5 项(注入侧不确定性召回)留后续批次。
10+
911
## 🐛 修复
1012

1113
- **审计记账改读 `chunk.usage`,token 不再恒为 0(issue #242)**:dsh-llm 的 StreamChunk 契约把用量嵌在 `{type:"usage", usage:TokenUsage}`(TokenUsage = inputTokens / outputTokens / …),chunk 顶层没有 token 字段——dream / summarize 的审计读取把整个 chunk 当用量对象,input/output 恒为 undefined,审计行落 0(实测 7 天 49 次 success 调用 token 全 0,面板「LLM 消耗」长期显示 0)。改读 `chunk.usage ?? chunk`,`?? chunk` 兜底兼容用量平铺在顶层的替身(嵌套 + 平铺双形状回归测试)。

‎dsh-mneme/README.md‎

Lines changed: 2 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -416,6 +416,8 @@ dsh web
416416
| `summarizeProvider` / `summarizeModel` | 空 | 摘要的 LLM 路由覆盖(空=使用当前会话模型);推荐轻量模型节省主模型 token |
417417
| `summarizeMinIntervalMinutes` | `0` | autoSummarize 最小触发间隔(0-10080,0=不限):两次蒸馏之间最短间隔,失败/degraded run 也占用(#127) |
418418
| `summarizeMaxEntriesPerRun` | `0` | 单次蒸馏产出记忆条数上限(0-50,0=不限):节流防单会话大量重复条目(#127) |
419+
| `summarizeMinWindowChars` | `0` | 蒸馏前零 LLM 预判:窗口可蒸馏文本不足此字符数直接跳过调用(0-100000,0=关);skip 原因写入审计(#239) |
420+
| `summarizeMaxRunsPerSession` | `0` | 每会话最多发起多少次蒸馏 LLM 调用(0-1000,0=不限);只计真实调用,被预判拦下的不占额度(#239) |
419421
| `summarizeDedupeMode` | `off` | 落库前去重档位:`off`(默认=现状)/ `title`(零成本,仅拦完全同名)/ `vector`(复用 embedding 列做同会话语义近邻,无 LLM 调用,#127) |
420422
| `summarizeDedupeMinSim` | `0.92` | vector 去重档的相似度阈值(0.5-0.99) |
421423
| `summarizeDedupeWindowHours` | `24` | vector 去重的同会话时间窗(小时,0-168) |

‎dsh-mneme/lib/config.js‎

Lines changed: 11 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -24,6 +24,17 @@ export const Config = z.object({
2424
// 同一事实 6 小时铸出 28+ 条。阀门交给用户按需拧,升级本身不改行为。
2525
summarizeMinIntervalMinutes: z.natural().min(0).max(10080).default(0),
2626
summarizeMaxEntriesPerRun: z.natural().min(0).max(50).default(0),
27+
// Issue #239(成本感知级联第一级):蒸馏前的零 LLM 预判——窗口内可蒸馏文本
28+
// 不足此字符数时直接跳过 LLM 调用(0 = 关闭,行为与现状逐字节一致)。判定
29+
// 纯规则、无模型参与;被挡下的窗口照常消费游标(否则每个 turn/end 都会重新
30+
// 评估同一段短文本),并留一行 status='skipped' 审计,error_message 写明原因
31+
// ——「这一窗为什么没蒸馏」必须可观测,否则阀门等于黑盒。
32+
summarizeMinWindowChars: z.natural().min(0).max(100000).default(0),
33+
// Issue #239(有界检查点):同一会话最多发起多少次蒸馏(0 = 不限,等同现状)。
34+
// 只统计真正发起过 LLM 调用的 run——被预判挡下的窗口不占预算,否则阀门会把
35+
// 额度浪费在零成本窗口上。计数是进程内 per-session(与最小间隔闸门同生命
36+
// 周期),宿主重启即清零,与 #229 的游标持久化是两件事。
37+
summarizeMaxRunsPerSession: z.natural().min(0).max(1000).default(0),
2738
// 落库前去重档位:off(默认,等同现状)/ title(零成本,仅拦完全同名)/
2839
// vector(复用已有 embedding 列做同会话语义近邻,无 LLM 调用)。
2940
summarizeDedupeMode: z.union([z.const("off"), z.const("title"), z.const("vector")]).default("off"),

‎dsh-mneme/lib/settings.js‎

Lines changed: 3 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -97,6 +97,9 @@ const FEATURE_FLAG_INT_RANGES = {
9797
summarizeMinIntervalMinutes: [0, 10080],
9898
summarizeMaxEntriesPerRun: [0, 50],
9999
summarizeDedupeWindowHours: [0, 168],
100+
// Issue #239:蒸馏零 LLM 预判(窗口最小字符数)与每会话 run 预算(0 = 零行为变化)。
101+
summarizeMinWindowChars: [0, 100000],
102+
summarizeMaxRunsPerSession: [0, 1000],
100103
// Issue #125:hybrid 候选量上限(0 = 复用 dreamMaxSnapshotSize)。
101104
dreamCandidateMax: [0, 5000],
102105
// Issue #164①:注入单条正文截断上限(默认 300 = 既有行为)。

‎dsh-mneme/lib/summarize.js‎

Lines changed: 51 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -263,6 +263,9 @@ export function createSummarizer(ctx, service, config) {
263263
// Issue #127:per-session 上一次实际开跑时刻(最小间隔闸门用)。与 inFlight
264264
// 同生命周期,dispose 时一并清空。
265265
const lastRunAt = new Map();
266+
// Issue #239:per-session 已发起的蒸馏次数(有界检查点用)。只在实际发起 LLM
267+
// 调用时自增,因此被零 LLM 预判挡下的窗口不消耗预算。
268+
const runsUsed = new Map();
266269
// Issue #210:只在一次蒸馏完整成功后记录已消费的最后事件 seq。
267270
const lastDistilledSeq = new Map();
268271
let disposed = false;
@@ -308,6 +311,24 @@ export function createSummarizer(ctx, service, config) {
308311
});
309312
return;
310313
}
314+
// Issue #239(有界检查点):每会话 run 预算。放在间隔门之后,两者都命中时
315+
// 先报间隔——间隔是「刚刚跑过」,预算是「额度用尽」,前者信息量更大。skip
316+
// 仍写审计(沿用间隔门的 error_message 口径),否则「为什么不再蒸馏了」对
317+
// 用户不可观测。prevRuns 在这里捕获、finally 里按 aborted 回滚(同 lastRunAt)。
318+
// 游标刻意不消费:预算是「这个会话先不再蒸馏了」,把窗口留在原地,日后调高
319+
// 额度(或宿主重启)仍能蒸馏到它;这与 window-too-small 主动消费游标相反——
320+
// 后者是「这些事件不值得蒸馏」,留着只会每个 turn/end 重评一次。
321+
const prevRuns = runsUsed.get(session.id);
322+
const maxRuns = config.summarizeMaxRunsPerSession ?? 0;
323+
if (maxRuns > 0 && (prevRuns ?? 0) >= maxRuns) {
324+
writeAudit({
325+
timestamp: new Date().toISOString(),
326+
model_id: route ? `${route.provider}:${route.model}` : "unknown",
327+
status: "skipped",
328+
error_message: "max-runs-per-session"
329+
});
330+
return;
331+
}
311332
const controller = new AbortController();
312333
inFlight.set(session.id, controller);
313334
// audit state for the compression call. null = no audit for this run
@@ -342,9 +363,33 @@ export function createSummarizer(ctx, service, config) {
342363
return;
343364
}
344365
const messages = collected.messages;
345-
// 只有真正准备发起一次 LLM 蒸馏时才占用最小间隔;失败路径仍按原语义
346-
// 占用,aborted 则由 finally 回滚。
366+
// Issue #239(成本感知级联第一级):零 LLM 预判。窗口内可蒸馏文本不足阈值
367+
// 时直接跳过——短窗口交给模型的产出多是泛泛而谈,代价却是一次完整调用。
368+
// 判定纯规则(字符数),无模型参与;被挡下的窗口照常消费游标,否则每个
369+
// turn/end 都会重新评估同一段短文本。skip 原因进审计,作为后续按真实负载
370+
// 决定下一级规则的依据。
371+
const minWindowChars = config.summarizeMinWindowChars ?? 0;
372+
if (minWindowChars > 0) {
373+
const distillChars = messages.reduce(
374+
(total, message) => total + (Array.isArray(message.content) ? message.content : [])
375+
.reduce((n, part) => n + (typeof part?.text === "string" ? part.text.length : 0), 0),
376+
0
377+
);
378+
if (distillChars < minWindowChars) {
379+
if (Number.isFinite(nextSeq)) lastDistilledSeq.set(session.id, nextSeq);
380+
writeAudit({
381+
timestamp: new Date().toISOString(),
382+
model_id: route ? `${route.provider}:${route.model}` : "unknown",
383+
status: "skipped",
384+
error_message: "window-too-small"
385+
});
386+
return;
387+
}
388+
}
389+
// 只有真正准备发起一次 LLM 蒸馏时才占用最小间隔与 run 预算;失败路径仍按
390+
// 原语义占用(调用确实发生过),aborted 则由 finally 回滚。
347391
lastRunAt.set(session.id, Date.now());
392+
runsUsed.set(session.id, (prevRuns ?? 0) + 1);
348393

349394
if (config?.llmAudit?.enabled !== false && typeof service.saveLlmAudit === "function") {
350395
audit = {
@@ -525,6 +570,10 @@ export function createSummarizer(ctx, service, config) {
525570
if (abortedRun || controller.signal.aborted) {
526571
if (prevClaim === undefined) lastRunAt.delete(session.id);
527572
else lastRunAt.set(session.id, prevClaim);
573+
// Issue #239:aborted 同样不占 run 预算——调用没有真正发生,占了会误伤
574+
// 该会话后续的蒸馏(与上面的间隔回滚同一口径)。
575+
if (prevRuns === undefined) runsUsed.delete(session.id);
576+
else runsUsed.set(session.id, prevRuns);
528577
}
529578
if (audit) {
530579
try {

‎dsh-mneme/src/config.js‎

Lines changed: 11 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -24,6 +24,17 @@ export const Config = z.object({
2424
// 同一事实 6 小时铸出 28+ 条。阀门交给用户按需拧,升级本身不改行为。
2525
summarizeMinIntervalMinutes: z.natural().min(0).max(10080).default(0),
2626
summarizeMaxEntriesPerRun: z.natural().min(0).max(50).default(0),
27+
// Issue #239(成本感知级联第一级):蒸馏前的零 LLM 预判——窗口内可蒸馏文本
28+
// 不足此字符数时直接跳过 LLM 调用(0 = 关闭,行为与现状逐字节一致)。判定
29+
// 纯规则、无模型参与;被挡下的窗口照常消费游标(否则每个 turn/end 都会重新
30+
// 评估同一段短文本),并留一行 status='skipped' 审计,error_message 写明原因
31+
// ——「这一窗为什么没蒸馏」必须可观测,否则阀门等于黑盒。
32+
summarizeMinWindowChars: z.natural().min(0).max(100000).default(0),
33+
// Issue #239(有界检查点):同一会话最多发起多少次蒸馏(0 = 不限,等同现状)。
34+
// 只统计真正发起过 LLM 调用的 run——被预判挡下的窗口不占预算,否则阀门会把
35+
// 额度浪费在零成本窗口上。计数是进程内 per-session(与最小间隔闸门同生命
36+
// 周期),宿主重启即清零,与 #229 的游标持久化是两件事。
37+
summarizeMaxRunsPerSession: z.natural().min(0).max(1000).default(0),
2738
// 落库前去重档位:off(默认,等同现状)/ title(零成本,仅拦完全同名)/
2839
// vector(复用已有 embedding 列做同会话语义近邻,无 LLM 调用)。
2940
summarizeDedupeMode: z.union([z.const("off"), z.const("title"), z.const("vector")]).default("off"),

‎dsh-mneme/src/settings.js‎

Lines changed: 3 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -97,6 +97,9 @@ const FEATURE_FLAG_INT_RANGES = {
9797
summarizeMinIntervalMinutes: [0, 10080],
9898
summarizeMaxEntriesPerRun: [0, 50],
9999
summarizeDedupeWindowHours: [0, 168],
100+
// Issue #239:蒸馏零 LLM 预判(窗口最小字符数)与每会话 run 预算(0 = 零行为变化)。
101+
summarizeMinWindowChars: [0, 100000],
102+
summarizeMaxRunsPerSession: [0, 1000],
100103
// Issue #125:hybrid 候选量上限(0 = 复用 dreamMaxSnapshotSize)。
101104
dreamCandidateMax: [0, 5000],
102105
// Issue #164①:注入单条正文截断上限(默认 300 = 既有行为)。

‎dsh-mneme/src/summarize.js‎

Lines changed: 51 additions & 2 deletions
Original file line numberDiff line numberDiff line change
@@ -263,6 +263,9 @@ export function createSummarizer(ctx, service, config) {
263263
// Issue #127:per-session 上一次实际开跑时刻(最小间隔闸门用)。与 inFlight
264264
// 同生命周期,dispose 时一并清空。
265265
const lastRunAt = new Map();
266+
// Issue #239:per-session 已发起的蒸馏次数(有界检查点用)。只在实际发起 LLM
267+
// 调用时自增,因此被零 LLM 预判挡下的窗口不消耗预算。
268+
const runsUsed = new Map();
266269
// Issue #210:只在一次蒸馏完整成功后记录已消费的最后事件 seq。
267270
const lastDistilledSeq = new Map();
268271
let disposed = false;
@@ -308,6 +311,24 @@ export function createSummarizer(ctx, service, config) {
308311
});
309312
return;
310313
}
314+
// Issue #239(有界检查点):每会话 run 预算。放在间隔门之后,两者都命中时
315+
// 先报间隔——间隔是「刚刚跑过」,预算是「额度用尽」,前者信息量更大。skip
316+
// 仍写审计(沿用间隔门的 error_message 口径),否则「为什么不再蒸馏了」对
317+
// 用户不可观测。prevRuns 在这里捕获、finally 里按 aborted 回滚(同 lastRunAt)。
318+
// 游标刻意不消费:预算是「这个会话先不再蒸馏了」,把窗口留在原地,日后调高
319+
// 额度(或宿主重启)仍能蒸馏到它;这与 window-too-small 主动消费游标相反——
320+
// 后者是「这些事件不值得蒸馏」,留着只会每个 turn/end 重评一次。
321+
const prevRuns = runsUsed.get(session.id);
322+
const maxRuns = config.summarizeMaxRunsPerSession ?? 0;
323+
if (maxRuns > 0 && (prevRuns ?? 0) >= maxRuns) {
324+
writeAudit({
325+
timestamp: new Date().toISOString(),
326+
model_id: route ? `${route.provider}:${route.model}` : "unknown",
327+
status: "skipped",
328+
error_message: "max-runs-per-session"
329+
});
330+
return;
331+
}
311332
const controller = new AbortController();
312333
inFlight.set(session.id, controller);
313334
// audit state for the compression call. null = no audit for this run
@@ -342,9 +363,33 @@ export function createSummarizer(ctx, service, config) {
342363
return;
343364
}
344365
const messages = collected.messages;
345-
// 只有真正准备发起一次 LLM 蒸馏时才占用最小间隔;失败路径仍按原语义
346-
// 占用,aborted 则由 finally 回滚。
366+
// Issue #239(成本感知级联第一级):零 LLM 预判。窗口内可蒸馏文本不足阈值
367+
// 时直接跳过——短窗口交给模型的产出多是泛泛而谈,代价却是一次完整调用。
368+
// 判定纯规则(字符数),无模型参与;被挡下的窗口照常消费游标,否则每个
369+
// turn/end 都会重新评估同一段短文本。skip 原因进审计,作为后续按真实负载
370+
// 决定下一级规则的依据。
371+
const minWindowChars = config.summarizeMinWindowChars ?? 0;
372+
if (minWindowChars > 0) {
373+
const distillChars = messages.reduce(
374+
(total, message) => total + (Array.isArray(message.content) ? message.content : [])
375+
.reduce((n, part) => n + (typeof part?.text === "string" ? part.text.length : 0), 0),
376+
0
377+
);
378+
if (distillChars < minWindowChars) {
379+
if (Number.isFinite(nextSeq)) lastDistilledSeq.set(session.id, nextSeq);
380+
writeAudit({
381+
timestamp: new Date().toISOString(),
382+
model_id: route ? `${route.provider}:${route.model}` : "unknown",
383+
status: "skipped",
384+
error_message: "window-too-small"
385+
});
386+
return;
387+
}
388+
}
389+
// 只有真正准备发起一次 LLM 蒸馏时才占用最小间隔与 run 预算;失败路径仍按
390+
// 原语义占用(调用确实发生过),aborted 则由 finally 回滚。
347391
lastRunAt.set(session.id, Date.now());
392+
runsUsed.set(session.id, (prevRuns ?? 0) + 1);
348393

349394
if (config?.llmAudit?.enabled !== false && typeof service.saveLlmAudit === "function") {
350395
audit = {
@@ -525,6 +570,10 @@ export function createSummarizer(ctx, service, config) {
525570
if (abortedRun || controller.signal.aborted) {
526571
if (prevClaim === undefined) lastRunAt.delete(session.id);
527572
else lastRunAt.set(session.id, prevClaim);
573+
// Issue #239:aborted 同样不占 run 预算——调用没有真正发生,占了会误伤
574+
// 该会话后续的蒸馏(与上面的间隔回滚同一口径)。
575+
if (prevRuns === undefined) runsUsed.delete(session.id);
576+
else runsUsed.set(session.id, prevRuns);
528577
}
529578
if (audit) {
530579
try {

‎dsh-mneme/test/api.test.js‎

Lines changed: 4 additions & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -654,9 +654,10 @@ test("GET /api/dsh-mneme/features returns empty overrides and effective config d
654654
// scopeEnabled/strictScope、issue #194 新增的 resilientModelDownload),
655655
// 未覆盖时取 bundle 配置的解析默认值;
656656
// dreamProvider/dreamModel 无 schema 默认值(Config({}) 解析为 undefined),
657-
// 不编造给前端 → 58 - 2 = 56(issue #164① 新增 injectContentMaxChars,
658-
// issue #164 叙述条批次新增 dreamNarrativeEnabled/dreamNarrativeMinCluster)
659-
assert.equal(Object.keys(data.effective).length, 56);
657+
// 不编造给前端 → 60 - 2 = 58(issue #164① 新增 injectContentMaxChars,
658+
// issue #164 叙述条批次新增 dreamNarrativeEnabled/dreamNarrativeMinCluster,
659+
// issue #239 新增 summarizeMinWindowChars/summarizeMaxRunsPerSession)
660+
assert.equal(Object.keys(data.effective).length, 58);
660661
assert.equal(data.effective.dreamSkipInvalid, true);
661662
assert.equal(data.effective.allowCrossTypeMerge, false);
662663
assert.equal(data.effective.dreamMinIntervalMinutes, 0);

0 commit comments

Comments
 (0)