Current Acceptance - jiale-li-orion/SecFusionAgent GitHub Wiki
当前实现与待办验收
复核日期:2026-10-16(Asia/Shanghai)。代码基线:main / 6654199。本页统一接管 Home、TD1/TD2/TD2A/TD3、09-27 实现复查和 10-08 决赛复查中的当前状态与 TODO;历史记录保留原日期和原测量。
结论:产品主链和多项原 TODO 已实现,可以关闭功能开发项;完整历史世界重执行、真实隔离/运维验收和广泛在线效果仍不能关闭。 本次核验代码、测试、配置与留存评测,没有调用收费模型、开启后台自动编研或改写历史成绩。
验收口径
- 实现验收通过:有明确 owner、可执行入口及对应回归;不表示覆盖所有实际数据。
- 限定样本已验证:仅对被冻结的 deployment、模型、来源与样本成立;不能泛化为当前版本的整体效果。
- 部分 / 未完成:列出缺项和关闭条件;已有组件不能代替端到端验收。
- 暂缓 / 范围外:保留理由,不伪装为完成,不自动执行收费评测或重启自动化。
工程依据:基线 CI 全通过;本地全量非集成回归 890 passed、12 deselected;mypy 670 source files;前端构建、Lint、28 项 Product 静态门和部署门通过。本轮针对原待办再执行离线定向回归:100 passed(83.48s),命令见下方。真实 PostgreSQL/Redis/S3 集成未在本轮重跑,不能引用早期 12/12 冒充新验收。
PRD M1–M8 与横切约束
| 要求 | 当前验收 | 证据与保留边界 |
|---|---|---|
| M1 监测 | 实现通过,实际 delivery 部分 | scheduler/cursor/backoff/AcquisitionRun/outbox、源注册同步与限流已实现;配置 8 类/71 SourceDefinition/43 scheduled。来源目录不是在线到达率;O01 仍开放 |
| M2 留存与规范化 | 实现通过,质量为限定样本 | 原始 Artifact、Observation、版本化 Document、EvidenceLink、去重与多源关系;质量门和重解析可执行。未证明历史语料全部解析正确,见 O02 |
| M3 富化关联 | 确定性实现通过,开放质量部分 | PoC、EPSS、CWE、版本/applicability、CSAF/VEX、资产 join、paper-CVE 已有 owner;结构化历史 P/R 不能代表所有维度,见 O02/O12 |
| M4 调查上下文 | 实现通过 | Case/StatePatch/confirmed/conflict/unknown/EvidenceNeed、revision guard、exact-session retrieval reuse;非精确语义复用暂缓 O09 |
| M5 Agent 调查 | 运行协议通过,在线收益部分 | bounded loop、感知、委派、三类受控外部读取、恢复与 token 记账;生产隔离、广泛真实工具成功率/收益仍待 O03/O05/O07 |
| M6 研判问答 | 产品实现通过,历史 QA 限定验证 | 多轮会话、不可变逐回合 Decision、引用与边界答复、摘要/HTML;当前模型困难问题质量与编辑质量未做新分母 O03/O13 |
| M7 评测 | substrate 通过,historical replay 部分 | 冻结 suite/gold/deployment、Run/Metric/CompetitionReport、controlled security/fault/replay;完整旧世界与新版本可比效果待 O04 |
| M8 工程运行 | CI/Compose/可观测实现通过,生产运维部分 | 健康读、队列恢复、日志/trace、CI 与文档 Pages;生产应用 CD、告警送达、backup/restore 演练待 O11 |
| C1 证据可追溯 | 工程门通过 | Evidence/Decision 引用、版本与公开权限回查;自然语言是否全面准确仍需 O02/O03/O13 样本 |
| C2 外部内容不可信 | 控制面与安全回归通过 | Policy/Broker、引用门、escaped HTML、CSP、账户隔离;真实隔离和更广模型对抗仍需 O05/O14 |
| C3 有界执行 | 工程门通过 | deadline/turn/retry/tool budgets、幂等、stop/wait/cancel、过期与丢失投递恢复;不等于全站每日货币限额 |
可以关闭的原功能 TODO
链接指向能力 owner 或可复现测试;对应模块 README 是实现维护入口。
| 编号 | 原待办 → 当前结论 | 证据入口 |
|---|---|---|
| A01 | source lifecycle、registry/schedule 同步与 polite collection 已实现;不能继续写成仅有来源清单 | registration、tests |
| A02 | 文档错误页拦截、保留证据重解析、正文选取和 PDF 编码修复已实现 | documents、maintenance tests |
| A03 | PoC/EPSS/CWE/applicability/asset/paper 不能再列为全未实现;关闭确定性功能项,保留广泛质量分母 | M3 README、structured evidence |
| A04 | TD2A A/B:RequestContext、错误/健康接口、Investigation use cases/read models 已实现 | edge tests、application |
| A05 | TD2A C:多轮、target/context carry、same-Case follow-up、immutable turn Decision、exact reuse 与失败检索记录已实现 | question tests、retrieval owner |
| A06 | 账户、关注/兴趣、推荐理由与引用、分页和独立反馈已实现;关闭“无个性化闭环” | authentication tests、recommendation tests |
| A07 | TD2A D/E:幂等、cancel/revision guard、Activity、SSE/Last-Event-ID、终态通知已实现;独立 resume 不在关闭范围 | investigation route tests、command owner |
| A08 | NVD、注册公开网页、指定 GitHub 开发记录已接 production composition;关闭“没有任何外部 Capability” | NVD tests、registered source tests、GitHub tests |
| A09 | 正式 Product/session QA 已运行过,不能再写“尚无 live model 分数”;只关闭历史首批验收 | retained live batch、CompetitionReport |
| A10 | M5/M6 token/retry reserve→settle 已实现;关闭“所有模型都未结算” | recorded provider、recorder tests |
| A11 | 事件时间线、证据绑定编目、资料质量过滤和多标签筛选已实现;不是候选列表的改名 | incident curation、library tests |
| A12 | 摘要优先、独立审校、有界修订、公开发布与私人 HTML 已实现;阅读不调用模型 | public briefing tests、private HTML tests、public access tests |
| A13 | 后台模型费用暂停已有配置与双端门;保留用户交互,未增加每日硬上限 | background gate tests、worker contract |
| A14 | 四空间、局部字体现影扩散、事件/资料阅读、重复摘录及暗色标题问题已交付;Hot 不再独立频道 | Web contract、static gate。原字形显影已移除,当前动效为抽象颗粒 |
| A15 | 旧 Workbench 产品替代、Product-safe task/system/evidence reads 已完成 | API contract、task access tests |
| A16 | 丢失投递/孤儿运行的有界恢复已实现;生产容灾另验 | runtime recovery、recovery tests |
尚不能关闭的工作
| 编号 / 优先级 | 状态与 owner | 可验收的关闭条件 |
|---|---|---|
| O01 / 高 | M1:新版本 independent delivery 与持续稳定性未重测 | 冻结独立 expected-event 清单和新监测窗口,解释每个 miss;同时报告 delivery、latency、样本可评率和来源分布,不能以 source count 代替 |
| O02 / 高 | M2/M3:开放语义、资产、论文/事件和历史语料质量仅局部验证 | 冻结人工复核 gold/反例,按维度报告 P/R、正文正确性、引用与实体错误;区分零结果、未知、不可访问 |
| O03 / 高,待预算 | M5/M6/M7:当前版本困难 QA、Case-read、长调查、外部工具与多 Agent 收益未形成广泛正式分母 | 固定新 deployment/model/prompt/world、独立 gold 与截止时间;报告成功率/时间/token、失败与收益基线。当前暂停下不自动跑收费实验 |
| O04 / 中 | M1–M3/M7:完整 Historical Knowledge Reader 未实现 | Object/identifier/EvidenceLink/structured retrieval 的任意旧 revision 可读;以变化前后事实验证 R3 不读未来 projection |
| O05 / 中 | Runtime/M8:真实 OpenShell/OCI/Firecracker 隔离未验收 | 在实际目标宿主验证 filesystem/network/credential isolation、teardown、artifact hash、不可用时 fail closed,不能以 mocked tests 结案 |
| O06 / 中 | A2A:完整写入/订阅/push transport 未实现 | 完成 authenticated principal、classification、target binding 与 admission 后的 SendMessage、订阅/推送及跨账户拒绝测试 |
| O07 / 按需求 | M5:通用 search/browser、任意仓库/资产 capability 未交付 | 每个新增绑定定义 scope/授权/预算/输入验证/采集和证据提升,分别通过回归和授权在线案例 |
| O08 / 中 | Application:独立通用 /resume 未实现 |
定义状态、owner、revision/idempotency/并发语义并提供 transport 与回归;现有 session continuation/runtime wake 不冒名替代 |
| O09 / 暂缓 | Retrieval:非精确语义 reuse 未交付 | 若需求成立,定义 freshness/world/relevance 的可检验复用策略;当前只承诺 exact request digest + world 的复用 |
| O10 / 实验 | M7:reference-vs-summary 对照未完成 | 同 frozen cases/model/预算下比较关键上下文保留、旧事实污染、任务质量与 token;不阻塞现有协议 |
| O11 / 高 | M8:生产应用发布/回滚/备份恢复/告警送达未完整验收 | 实际版本化发布、schema 兼容回退、备份还原、故障报警和恢复记录。GitHub Pages 发布只证明文档站 CD |
| O12 / 中 | Model Runtime:M3 模型预算与 auto dialect 每 HTTP exchange 记账部分 |
M3 接 reserve/settle 并覆盖失败/retry;协商调用有独立物理记录或预先固定 dialect。provider 未报告的货币费用仍不可伪造 |
| O13 / 高,待预算 | Reasoning:真实编辑质量未建立独立分母 | 对固定真实材料人工判定标题/摘要/归因/数字/分析/引用准确性,报告拒绝与修订率;模型自审通过不是独立事实核验 |
| O14 / 中 | M7/Security:更广攻击变体与真实模型对抗未覆盖 | 冻结攻击类、信任边界与判定,保留阻断/漏过及可复现轨迹;旧 controlled security 只覆盖原样本 |
| O15 / 按需求 | Accounts:邮件验证、密码找回、OAuth 未实现 | 按选定账户生命周期补齐安全令牌、过期/重放和跨账户回归;当前仅承诺已有账户与会话能力 |
明确暂不执行
| 编号 | 决定 |
|---|---|
| D01 | 自动编研、embedding/语义/规范后台模型和新增 WATCH 暂停;采集/词法/确定性处理继续。未经用户改变运行意图不恢复,不加全站每日金额硬上限 |
| D02 | 普通在线 prompt/response 全量保存不是默认目标;R1 artifacts 为显式 opt-in,保留隐私边界 |
| D03 | 答辩 PPT、Word/PDF 技术报告和视频不在当前产品优先范围;保留未交付事实,不因 README/Wiki 齐全而勾选 |
| D04 | KV cache scheduler、Agentic RL、在线自改 prompt、自动 Skill activation、Kubernetes operator 等 TD3 非目标仍排除;需另有需求和证据才启动 |
本次复核命令
从代码仓库运行,无收费 provider 调用:
.venv/bin/pytest -q apps/api/tests/test_product_investigations.py apps/api/tests/test_product_questions.py apps/api/tests/test_product_recommendations.py apps/api/tests/test_product_authentication.py apps/api/tests/test_account_resource_access.py apps/api/tests/test_public_brief_routes.py apps/api/tests/test_product_html_report.py apps/application/tests/test_material_library.py apps/application/tests/test_public_briefings.py apps/application/tests/test_nvd_observation.py apps/worker/tests/test_background_llm.py tests/test_github_investigation_observation.py tests/test_registered_source_observation.py packages/runtime/model/tests packages/investigation/replay/tests tests/test_competition_report_docs.py tests/test_source_catalog_pair.py -m 'not integration'
make evidence-doc-check
make site-check WIKI_PATH=../SecFusionAgent.wiki
本页不替代冻结 PRD,也不把“有实现”和“达到所有比赛评分档位”混为一谈。后续完成 O 项时,在同一行补充实际代码/测试/运行证据并改状态;不要再在页面底部追加相互冲突的“当前状态”。