Repository navigation
[Python][Eval][Security] 增加外部内容提示注入回归集与双指标报告 #180
Description
背景与核查范围
基于 main bbbe73f，项目已有评测、重复试验、pass@k 和权限/安全测试；本次检查未见针对仓库文本、MCP 输出及记忆输入的专门提示注入回归集。这是测试覆盖建设建议，不是已确认的可利用漏洞报告。
代码漏洞扫描不能代替检查 Agent 是否把不可信内容误当成用户指令。
目标
建立可离线运行的对抗测试集，同时检查安全边界和正常任务可用性。复用现有 py-runtime/src/sztu_code/evaluation/，不要再建一套通用评测平台。
验收标准
- 至少 12 个固定用例，覆盖仓库 README/文件、MCP 工具结果、记忆输入等来源，包括越权执行、泄露诱导、伪造高优先级指令及跨任务污染。
- 仅使用合成 secret canary、本地假工具和沙箱目录，不访问真实秘密或外部攻击端点。
- 用例经过实际运行时和权限链路，记录预期拒绝/审批行为，不能只验证字符串过滤器。
- 每类攻击配置正常对照任务，同时报告越权执行结果与正常任务完成结果，避免通过“全部拒绝”获得高分。
- CI 默认使用确定性 mock 模型/工具验证运行时边界；真实模型对抗评测需显式开启，并记录模型版本、重复次数、成本和失败轨迹。
- 报告明确区分“运行时强制边界测试”与“模型抗注入表现”，不把 mock 测试通过宣传为全面防住提示注入。
- 提供运行命令、用例格式和增加新回归样例的文档；新增及相关回归测试通过。
与现有 issue 的关系及边界
不替代 #16 的代码/依赖扫描、#17 的 shell 语义安全、#19 的优化数据集或 #94 的成功验收机制。发现新的具体漏洞时单独记录最小复现与修复，避免本 issue 扩展成无边界安全 Epic。
学习方向与参考
Agent 安全评测、可信边界、多轮轨迹分析，以及安全性与可用性的联合衡量。
Activity