Skip to content

Commit 4abb257

Browse files
authored
Merge pull request #494 from slow-stack/fix/493-distill-parse-guard
fix(distill): fence the transcript and add a parse-failure guard (#493)
2 parents 81b47a1 + da6a039 commit 4abb257

13 files changed

Lines changed: 407 additions & 7 deletions

File tree

‎dsh-mneme/CHANGELOG.md‎

Lines changed: 5 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -2,6 +2,11 @@
22

33
## [Unreleased]
44

5+
## 🐛 修复
6+
7+
- **蒸馏的转录被模型当成「该我回话了」:同一窗口确定性失败,重试 20 次、越试越贵(#493)**:转录以「用户:…」开头、**裸放**在一条 user 消息里(`src/summarize.js` 的 `collectMessages`),格式指令只在 system 里。模型于是把它当成当前发言接着往下说/点评,输出里连 `[` 都没有,`parseSummaryJsonResult` 在括号早退处直接判 `invalid summary JSON`;而解析失败不推进游标(语义是「这段还没提炼完,下次接着来」),下一个 `turn/end` 重试**同文同温**——同输入同错,窗口还随新事件继续变大。报告者的 20 条失败 input tokens 8194 → 11118 单调递增、`finish_reason = stop`,正是这条路径;本机注入恒定返回中文点评的假 stream 复现出 19 次额外调用、落库 0 条、游标不动。改法两条:①**围栏 + 角色重申**——user 消息现在以「你是第三方提炼员,不是下面这段会话的参与者」开头,转录包进 `<<<会话转录开始>>>` / `<<<会话转录结束>>>`;围栏是确定性的,重试收到的转录与首次逐字节相同(既有回归用例依赖这条);system 保持原样,因为模型对「这段文本是什么」的判断由它所在的 user 消息决定,只写进 system 救不回来(实测同段转录只加 system 约束仍 0/2 出 JSON)。②**失败护栏**(新键 `summarizeParseFailureMaxRetries`,默认 `0` = 关):连续失败到阈值后强制消费游标跳过该窗口,避免一条会话被同一窗口卡死。默认关是因为放弃内容本身有代价——短窗口偶发失败仍值得重试。
8+
- **解析失败行的审计 `metadata` 恒为 `null`,事后无法回答「模型到底吐了什么形状」**:成功路径才给 `metadata` 赋值,失败早退分支从不赋值——90 条历史 `invalid summary JSON` 一条原始输出都没留。现在失败行恒带 `distillChars` / `parse_failure` / `raw_len` / `raw_head`(截断 300 字符)/ `raw_has_bracket` / `streak`。`raw_has_bracket` 是区分「模型没按格式写」与「格式对但内容救不回来」的唯一低成本判据,也正是 #493 现场的关键特征。只加计量、不加跳过决策(同 #239 的 `distillChars` 取舍)。**刻意不改的两处**:`llm_audit_logs.session_key` 仍为 NULL(`test/pre-inject-gate.test.js:155` 显式锁着「LLM 调用行不写会话键」,补上会改动 #254 写入准入的话题回填行为);不显式传 `temperature`(温度由宿主/路由决定,插件覆盖会改变所有用户的输出分布)。
9+
510
## [0.9.3] - 2026-10-20
611

712
## 🆕 新增

‎dsh-mneme/README.md‎

Lines changed: 1 addition & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -371,6 +371,7 @@ dsh plugin --profile web add "C:/path/to/modusensus-dsh-mneme-0.9.0.tgz"
371371
| `summarizeMaxEntriesPerRun` | `0` | 单次蒸馏产出记忆条数上限(0-50,0=不限):节流防单会话大量重复条目(#127) |
372372
| `summarizeMinWindowChars` | `0` | 蒸馏前零 LLM 预判:窗口可蒸馏文本不足此字符数直接跳过调用(0-100000,0=关);skip 原因写入审计(#239) |
373373
| `summarizeMaxRunsPerSession` | `0` | 每会话最多发起多少次蒸馏 LLM 调用(0-1000,0=不限);只计真实调用,被预判拦下的不占额度(#239) |
374+
| `summarizeParseFailureMaxRetries` | `0` | 连续几次解析失败后放弃当前窗口(0-10,0=关):确定性失败(模型把转录当成该自己回话,`finish_reason=stop`)重试收益为 0,而窗口只会越攒越大;设 2-3 可止血,达到阈值强制消费游标跳过,失败行 metadata 带 `raw_head`/`raw_has_bracket`/`streak`(#493) |
374375
| `summarizePeakHours` | 空 | 高峰时段(本地时间,逗号分隔、可带星期前缀,支持跨零点):空=关;命中时蒸馏顺延到非高峰、窗口累积后一次蒸、skip 原因入审计。例:按高峰计费的供应商可写 `mon-fri 08:00-12:00,14:00-18:00`(如 DeepSeek,以其官方定价页为准)(#239) |
375376
| `summarizePeakMaxDeferMinutes` | `120` | 高峰顺延上限(0-1440 分钟,0=不设上限):到点仍处高峰就照常跑,避免长高峰把蒸馏饿死(#239) |
376377
| `summarizeDedupeMode` | `off` | 落库前去重档位:`off`(默认=现状)/ `title`(零成本,仅拦完全同名)/ `vector`(复用 embedding 列做同会话语义近邻,无 LLM 调用,#127) |

‎dsh-mneme/docs/CONFIGURATION.md‎

Lines changed: 1 addition & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -92,6 +92,7 @@
9292
| `summarizeMaxEntriesPerRun` | `0` | 单次蒸馏最多落库条数(≤50) | 0 = 不限 |
9393
| `summarizeMinWindowChars` | `0` | 窗口可蒸馏文本下限(字符),不足直接跳过 LLM(#239) | 被挡窗口照常消费游标并留 skip 审计 |
9494
| `summarizeMaxRunsPerSession` | `0` | 每会话蒸馏次数预算,只计真实发起的调用(≤1000) | 0 = 不限;进程内计数,重启清零 |
95+
| `summarizeParseFailureMaxRetries` | `0` | 连续解析失败几次后放弃当前窗口(0–10,0 = 关,#493) | 达到阈值强制消费游标跳过该窗口;失败行 metadata 恒带 `raw_head`/`raw_has_bracket`/`streak` |
9596
| `summarizePeakHours` | `""` | 高峰时段串(`"09:00-18:00"` / `"mon-fri 08:00-12:00,14:00-18:00"`,支持跨零点) | 命中高峰不调 LLM、顺延补跑;任一写法非法整串按未配置处理 |
9697
| `summarizePeakMaxDeferMinutes` | `120` | 高峰顺延上限(分钟,≤1440) | 0 = 不设上限;到点仍处高峰照跑(bypassPeak) |
9798
| `summarizeDedupeMode` | `off` | 落库前去重档位:`off` / `title`(拦完全同名)/ `vector`(同会话语义近邻) | `vector` 复用已有 embedding 列,无 LLM 调用 |

‎dsh-mneme/lib/config.js‎

Lines changed: 8 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -35,6 +35,14 @@ export const Config = z.object({
3535
// 额度浪费在零成本窗口上。计数是进程内 per-session(与最小间隔闸门同生命
3636
// 周期),宿主重启即清零,与 #229 的游标持久化是两件事。
3737
summarizeMaxRunsPerSession: z.natural().min(0).max(1000).default(0),
38+
// Issue #493:连续解析失败几次后放弃当前窗口(0 = 关闭,行为与历史版本逐字节
39+
// 一致)。失败默认不推进游标——语义是「这段还没提炼完,下次接着来」,这对
40+
// 偶发失败(429/5xx/超时)是对的。但确定性失败(模型把转录当成该自己回话,
41+
// finish_reason=stop,同文同温)重试收益为 0,而窗口只会随新事件继续变大,
42+
// 于是一条会话能被同一窗口卡死几十轮、每轮都白烧一次完整调用。设成 2-3 即
43+
// 可止血:达到阈值后强制消费游标跳过该窗口,并留一行带 streak/raw_head 的
44+
// error 审计。默认关是因为放弃内容本身有代价——短窗口偶尔失败仍值得重试。
45+
summarizeParseFailureMaxRetries: z.natural().min(0).max(10).default(0),
3846
// Issue #239(第 4 项,错峰队列):高峰期蒸馏顺延。空串 = 关闭,行为与现状逐
3947
// 字节一致。取值是本地时间的时段列表(逗号分隔,支持跨零点),可带**星期前缀**
4048
// (可省;ISO 1=周一…7=周日,也认 mon..sun;省略 = 每天):

‎dsh-mneme/lib/lang.js‎

Lines changed: 11 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -155,6 +155,17 @@ export const STR = {
155155
zh: (status, out) => `代码执行(${status}):${out}`,
156156
en: (status, out) => `Code execution (${status}): ${out}`
157157
},
158+
// Issue #493:转录围栏 + 角色重申。转录原先裸放在 user 位上,模型会把它当成
159+
// 「轮到我说了」接着对话往下写/点评,输出里连 `[` 都没有,解析器在括号早退处
160+
// 直接判 invalid summary JSON;同文同温重试 → 同一窗口确定性失败,窗口还越攒
161+
// 越大。围栏与角色句必须落在 user 侧(system 保持原样):模型对「当前这段文本
162+
// 是什么」的判断由它所在的 user 消息决定,只写进 system 救不回来。
163+
transcriptFenceOpen: { zh: "<<<会话转录开始>>>", en: "<<<TRANSCRIPT START>>>" },
164+
transcriptFenceClose: { zh: "<<<会话转录结束>>>", en: "<<<TRANSCRIPT END>>>" },
165+
distillRoleReminder: {
166+
zh: "你是第三方提炼员,不是下面这段会话的参与者。不要回答、点评或续写转录里的内容;只按 system 的要求输出 JSON 数组。",
167+
en: "You are a third-party distillation assistant, not a participant in the conversation below. Do not answer, comment on, or continue the transcript; output only the JSON array required by the system prompt."
168+
},
158169

159170
// --- dream.js:聚类快照标记 -------------------------------------------------
160171
clusterHeader: { zh: (n) => `# 聚类 ${n}`, en: (n) => `# Cluster ${n}` },

‎dsh-mneme/lib/settings.js‎

Lines changed: 3 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -247,6 +247,9 @@ const FEATURE_FLAG_INT_RANGES = {
247247
// Issue #239:蒸馏零 LLM 预判(窗口最小字符数)与每会话 run 预算(0 = 零行为变化)。
248248
summarizeMinWindowChars: [0, 100000],
249249
summarizeMaxRunsPerSession: [0, 1000],
250+
// Issue #493:连续解析失败几次后放弃当前窗口(0 = 关)。与 config.js 的
251+
// z.natural().min(0).max(10) 成对。
252+
summarizeParseFailureMaxRetries: [0, 10],
250253
// Issue #239 第 4 项:高峰顺延上限(分钟,0 = 不设上限)。
251254
summarizePeakMaxDeferMinutes: [0, 1440],
252255
// Issue #239 第 4 项镜像到巩固:同一口径(分钟,0 = 不设上限)。

‎dsh-mneme/lib/summarize.js‎

Lines changed: 64 additions & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -404,12 +404,29 @@ function collectMessages(session, maxChars = 8000, language = "zh", afterSeq, th
404404
if (seq === undefined) return max;
405405
return max === undefined ? seq : Math.max(max, seq);
406406
}, undefined);
407+
const transcriptBody = trimTranscript(lines.join("\n"), maxChars);
407408
return {
408409
messages: lines.length
409-
? [createUserMessage({ content: [{ type: "text", text: trimTranscript(lines.join("\n"), maxChars) }], source: { kind: "plugin:dsh-mneme", plugin: "dsh-mneme" } })]
410+
? [createUserMessage({
411+
content: [{
412+
type: "text",
413+
// Issue #493:转录裸放 user 位时,模型把它当成「轮到我说了」接着对话
414+
// 往下写,输出里连 `[` 都没有(解析器在括号早退处直接判失败)。围栏 +
415+
// 角色重申把「这段文本是被提炼的素材」写进**它所在的那条消息**,而不是
416+
// 只写在 system 里——实测同段转录只加 system 约束仍 0/2 出 JSON。
417+
// 围栏是确定性的:重试收到的转录与首次逐字节相同(既有回归用例依赖)。
418+
text: `${STR.distillRoleReminder[language]}\n\n${STR.transcriptFenceOpen[language]}\n${transcriptBody}\n${STR.transcriptFenceClose[language]}`
419+
}],
420+
source: { kind: "plugin:dsh-mneme", plugin: "dsh-mneme" }
421+
})]
410422
: [],
411423
hasEvents: events.length > 0,
412-
lastSeq
424+
lastSeq,
425+
// Issue #493:只数**转录正文**的字符数。minWindowChars 闸门与审计里的
426+
// distillChars 量的都是「这一窗有多少可提炼内容」,不是「我们额外包了多少
427+
// 提示词」——若把围栏与角色句算进去,一条「短」也会凭空越过任何阈值,
428+
// 闸门随之失效(实测 summarizeMinWindowChars=10 会被 4 字正文 + 包裹放行)。
429+
transcriptChars: lines.length ? transcriptBody.length : 0
413430
};
414431
}
415432

@@ -534,6 +551,10 @@ export function createSummarizer(ctx, service, config, deps = {}) {
534551
const deferredRuns = new Map();
535552
// Issue #210:只在一次蒸馏完整成功后记录已消费的最后事件 seq。
536553
const lastDistilledSeq = new Map();
554+
// Issue #493:per-session 连续解析失败计数(失败护栏用)。同一窗口在确定性
555+
// 失败下会被每个 turn/end 重试一次、且窗口只会越攒越大——没有出口。成功即
556+
// 清零;dispose 一并清理(与 runsUsed / lastRunAt 同生命周期)。
557+
const parseFailureStreak = new Map();
537558
let disposed = false;
538559

539560
/** 写一条 autoSummarize 的 LLM 审计行(审计失败绝不阻塞蒸馏本身)。 */
@@ -701,7 +722,12 @@ export function createSummarizer(ctx, service, config, deps = {}) {
701722
// summarize_compress 成功行的 metadata 里窗口字符数为 0 条),验收 4「默认配置
702723
// 下调用量可量化下降」因此无法对账。本改动只加计量,不动任何跳过决策——
703724
// summarizeMinWindowChars 仍为 0 时行为逐字节不变。
704-
const distillChars = messages.reduce(
725+
//
726+
// Issue #493:口径改为只数转录正文(collected.transcriptChars),不再把
727+
// user 消息整段长度当窗口大小——#493 给转录加了围栏与角色句,若继续按
728+
// 「消息总字符数」算,一条 4 字的「短」也会被包裹撑过任何阈值,闸门等于
729+
// 被自己的提示词旁路掉。
730+
const distillChars = collected.transcriptChars ?? messages.reduce(
705731
(total, message) => total + (Array.isArray(message.content) ? message.content : [])
706732
.reduce((n, part) => n + (typeof part?.text === "string" ? part.text.length : 0), 0),
707733
0
@@ -869,12 +895,46 @@ export function createSummarizer(ctx, service, config, deps = {}) {
869895
const parsedResult = parseSummaryJsonResult(text || assembledText);
870896
// 解析失败不推进 seq 游标,下一次 turn/end 仍会重试同一窗口。
871897
if (!parsedResult.ok) {
898+
// Issue #493:失败也要留证据。原先 metadata 只在成功路径赋值,失败行恒为
899+
// null —— 事后无法回答「模型到底吐了什么形状」。这里只加计量、不做任何
900+
// 跳过决策(raw_head 截断到 300 字符,避免把审计表撑大)。
901+
const raw = text || assembledText || "";
902+
const streak = (parseFailureStreak.get(session.id) ?? 0) + 1;
903+
parseFailureStreak.set(session.id, streak);
904+
// Issue #493 失败护栏:同一窗口连续失败到阈值后强制消费游标跳过它。
905+
// 确定性失败(finish_reason=stop、同文同温)重试收益为 0,而窗口只会随
906+
// 新事件继续变大——没有出口时它会一直失败下去。默认 0 = 关闭,行为与
907+
// 历史版本逐字节一致(本仓新行为一律 opt-in,见 AGENTS.md)。
908+
const maxParseRetries = config.summarizeParseFailureMaxRetries ?? 0;
909+
// nextSeq 必须是有限数才算真的「跳过了窗口」:没有可验证的 seq 时
910+
// commitCursor 是空操作(persistCursor 早退、内存游标也不写),此时若
911+
// 仍按跳过记账并清零 streak,审计会宣称「已放弃」而窗口下一轮照旧重试
912+
// —— 那是最坏的一种假象:用户以为止血了,实际还在烧。
913+
const skipWindow = maxParseRetries > 0 && streak >= maxParseRetries && Number.isFinite(nextSeq);
914+
if (skipWindow) {
915+
// 先提交游标再复位计数:窗口已放弃,下一窗从全新状态起算。
916+
commitCursor(session.id, nextSeq);
917+
parseFailureStreak.delete(session.id);
918+
}
872919
if (audit) {
873920
audit.status = "error";
874921
audit.errorMessage = "invalid summary JSON";
922+
audit.metadata = {
923+
distillChars,
924+
parse_failure: true,
925+
raw_len: raw.length,
926+
raw_head: raw.slice(0, 300),
927+
// 有没有出现过 `[` 是区分「模型没按格式写」与「格式对但内容救不回来」
928+
// 的唯一低成本判据,也正是 #493 现场那 20 条失败的关键特征。
929+
raw_has_bracket: raw.includes("["),
930+
streak,
931+
...(maxParseRetries > 0 ? { maxRetries: maxParseRetries } : {}),
932+
...(skipWindow ? { skipped: "parse-failure-streak" } : {})
933+
};
875934
}
876935
return;
877936
}
937+
parseFailureStreak.delete(session.id);
878938
const parsed = parsedResult.entries;
879939
// Issue #127 条数上限:0 = 不限(现状)。被截断的条数与去重命中数一并进
880940
// 审计 metadata——此前产出条数完全由模型输出决定,用户无从自查。
@@ -1064,6 +1124,7 @@ export function createSummarizer(ctx, service, config, deps = {}) {
10641124
inFlight.clear();
10651125
lastRunAt.clear();
10661126
lastDistilledSeq.clear();
1127+
parseFailureStreak.clear();
10671128
}
10681129
};
10691130
}

‎dsh-mneme/src/config.js‎

Lines changed: 8 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -35,6 +35,14 @@ export const Config = z.object({
3535
// 额度浪费在零成本窗口上。计数是进程内 per-session(与最小间隔闸门同生命
3636
// 周期),宿主重启即清零,与 #229 的游标持久化是两件事。
3737
summarizeMaxRunsPerSession: z.natural().min(0).max(1000).default(0),
38+
// Issue #493:连续解析失败几次后放弃当前窗口(0 = 关闭,行为与历史版本逐字节
39+
// 一致)。失败默认不推进游标——语义是「这段还没提炼完,下次接着来」,这对
40+
// 偶发失败(429/5xx/超时)是对的。但确定性失败(模型把转录当成该自己回话,
41+
// finish_reason=stop,同文同温)重试收益为 0,而窗口只会随新事件继续变大,
42+
// 于是一条会话能被同一窗口卡死几十轮、每轮都白烧一次完整调用。设成 2-3 即
43+
// 可止血:达到阈值后强制消费游标跳过该窗口,并留一行带 streak/raw_head 的
44+
// error 审计。默认关是因为放弃内容本身有代价——短窗口偶尔失败仍值得重试。
45+
summarizeParseFailureMaxRetries: z.natural().min(0).max(10).default(0),
3846
// Issue #239(第 4 项,错峰队列):高峰期蒸馏顺延。空串 = 关闭,行为与现状逐
3947
// 字节一致。取值是本地时间的时段列表(逗号分隔,支持跨零点),可带**星期前缀**
4048
// (可省;ISO 1=周一…7=周日,也认 mon..sun;省略 = 每天):

‎dsh-mneme/src/lang.js‎

Lines changed: 11 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -155,6 +155,17 @@ export const STR = {
155155
zh: (status, out) => `代码执行(${status}):${out}`,
156156
en: (status, out) => `Code execution (${status}): ${out}`
157157
},
158+
// Issue #493:转录围栏 + 角色重申。转录原先裸放在 user 位上,模型会把它当成
159+
// 「轮到我说了」接着对话往下写/点评,输出里连 `[` 都没有,解析器在括号早退处
160+
// 直接判 invalid summary JSON;同文同温重试 → 同一窗口确定性失败,窗口还越攒
161+
// 越大。围栏与角色句必须落在 user 侧(system 保持原样):模型对「当前这段文本
162+
// 是什么」的判断由它所在的 user 消息决定,只写进 system 救不回来。
163+
transcriptFenceOpen: { zh: "<<<会话转录开始>>>", en: "<<<TRANSCRIPT START>>>" },
164+
transcriptFenceClose: { zh: "<<<会话转录结束>>>", en: "<<<TRANSCRIPT END>>>" },
165+
distillRoleReminder: {
166+
zh: "你是第三方提炼员,不是下面这段会话的参与者。不要回答、点评或续写转录里的内容;只按 system 的要求输出 JSON 数组。",
167+
en: "You are a third-party distillation assistant, not a participant in the conversation below. Do not answer, comment on, or continue the transcript; output only the JSON array required by the system prompt."
168+
},
158169

159170
// --- dream.js:聚类快照标记 -------------------------------------------------
160171
clusterHeader: { zh: (n) => `# 聚类 ${n}`, en: (n) => `# Cluster ${n}` },

‎dsh-mneme/src/settings.js‎

Lines changed: 3 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -247,6 +247,9 @@ const FEATURE_FLAG_INT_RANGES = {
247247
// Issue #239:蒸馏零 LLM 预判(窗口最小字符数)与每会话 run 预算(0 = 零行为变化)。
248248
summarizeMinWindowChars: [0, 100000],
249249
summarizeMaxRunsPerSession: [0, 1000],
250+
// Issue #493:连续解析失败几次后放弃当前窗口(0 = 关)。与 config.js 的
251+
// z.natural().min(0).max(10) 成对。
252+
summarizeParseFailureMaxRetries: [0, 10],
250253
// Issue #239 第 4 项:高峰顺延上限(分钟,0 = 不设上限)。
251254
summarizePeakMaxDeferMinutes: [0, 1440],
252255
// Issue #239 第 4 项镜像到巩固:同一口径(分钟,0 = 不设上限)。

0 commit comments

Comments
 (0)