Current Acceptance - jiale-li-orion/SecFusionAgent GitHub Wiki

当前实现与待办验收

复核日期:2026-10-16(Asia/Shanghai)。代码基线:main / 6654199。本页统一接管 Home、TD1/TD2/TD2A/TD3、09-27 实现复查和 10-08 决赛复查中的当前状态与 TODO;历史记录保留原日期和原测量。

结论:产品主链和多项原 TODO 已实现,可以关闭功能开发项;完整历史世界重执行、真实隔离/运维验收和广泛在线效果仍不能关闭。 本次核验代码、测试、配置与留存评测,没有调用收费模型、开启后台自动编研或改写历史成绩。

验收口径

  • 实现验收通过:有明确 owner、可执行入口及对应回归;不表示覆盖所有实际数据。
  • 限定样本已验证:仅对被冻结的 deployment、模型、来源与样本成立;不能泛化为当前版本的整体效果。
  • 部分 / 未完成:列出缺项和关闭条件;已有组件不能代替端到端验收。
  • 暂缓 / 范围外:保留理由,不伪装为完成,不自动执行收费评测或重启自动化。

工程依据:基线 CI 全通过;本地全量非集成回归 890 passed、12 deselected;mypy 670 source files;前端构建、Lint、28 项 Product 静态门和部署门通过。本轮针对原待办再执行离线定向回归:100 passed(83.48s),命令见下方。真实 PostgreSQL/Redis/S3 集成未在本轮重跑,不能引用早期 12/12 冒充新验收。

PRD M1–M8 与横切约束

要求 当前验收 证据与保留边界
M1 监测 实现通过,实际 delivery 部分 scheduler/cursor/backoff/AcquisitionRun/outbox、源注册同步与限流已实现;配置 8 类/71 SourceDefinition/43 scheduled。来源目录不是在线到达率;O01 仍开放
M2 留存与规范化 实现通过,质量为限定样本 原始 Artifact、Observation、版本化 Document、EvidenceLink、去重与多源关系;质量门和重解析可执行。未证明历史语料全部解析正确,见 O02
M3 富化关联 确定性实现通过,开放质量部分 PoC、EPSS、CWE、版本/applicability、CSAF/VEX、资产 join、paper-CVE 已有 owner;结构化历史 P/R 不能代表所有维度,见 O02/O12
M4 调查上下文 实现通过 Case/StatePatch/confirmed/conflict/unknown/EvidenceNeed、revision guard、exact-session retrieval reuse;非精确语义复用暂缓 O09
M5 Agent 调查 运行协议通过,在线收益部分 bounded loop、感知、委派、三类受控外部读取、恢复与 token 记账;生产隔离、广泛真实工具成功率/收益仍待 O03/O05/O07
M6 研判问答 产品实现通过,历史 QA 限定验证 多轮会话、不可变逐回合 Decision、引用与边界答复、摘要/HTML;当前模型困难问题质量与编辑质量未做新分母 O03/O13
M7 评测 substrate 通过,historical replay 部分 冻结 suite/gold/deployment、Run/Metric/CompetitionReport、controlled security/fault/replay;完整旧世界与新版本可比效果待 O04
M8 工程运行 CI/Compose/可观测实现通过,生产运维部分 健康读、队列恢复、日志/trace、CI 与文档 Pages;生产应用 CD、告警送达、backup/restore 演练待 O11
C1 证据可追溯 工程门通过 Evidence/Decision 引用、版本与公开权限回查;自然语言是否全面准确仍需 O02/O03/O13 样本
C2 外部内容不可信 控制面与安全回归通过 Policy/Broker、引用门、escaped HTML、CSP、账户隔离;真实隔离和更广模型对抗仍需 O05/O14
C3 有界执行 工程门通过 deadline/turn/retry/tool budgets、幂等、stop/wait/cancel、过期与丢失投递恢复;不等于全站每日货币限额

可以关闭的原功能 TODO

链接指向能力 owner 或可复现测试;对应模块 README 是实现维护入口。

编号 原待办 → 当前结论 证据入口
A01 source lifecycle、registry/schedule 同步与 polite collection 已实现;不能继续写成仅有来源清单 registration、tests
A02 文档错误页拦截、保留证据重解析、正文选取和 PDF 编码修复已实现 documents、maintenance tests
A03 PoC/EPSS/CWE/applicability/asset/paper 不能再列为全未实现;关闭确定性功能项,保留广泛质量分母 M3 README、structured evidence
A04 TD2A A/B:RequestContext、错误/健康接口、Investigation use cases/read models 已实现 edge tests、application
A05 TD2A C:多轮、target/context carry、same-Case follow-up、immutable turn Decision、exact reuse 与失败检索记录已实现 question tests、retrieval owner
A06 账户、关注/兴趣、推荐理由与引用、分页和独立反馈已实现;关闭“无个性化闭环” authentication tests、recommendation tests
A07 TD2A D/E:幂等、cancel/revision guard、Activity、SSE/Last-Event-ID、终态通知已实现;独立 resume 不在关闭范围 investigation route tests、command owner
A08 NVD、注册公开网页、指定 GitHub 开发记录已接 production composition;关闭“没有任何外部 Capability” NVD tests、registered source tests、GitHub tests
A09 正式 Product/session QA 已运行过,不能再写“尚无 live model 分数”;只关闭历史首批验收 retained live batch、CompetitionReport
A10 M5/M6 token/retry reserve→settle 已实现;关闭“所有模型都未结算” recorded provider、recorder tests
A11 事件时间线、证据绑定编目、资料质量过滤和多标签筛选已实现;不是候选列表的改名 incident curation、library tests
A12 摘要优先、独立审校、有界修订、公开发布与私人 HTML 已实现;阅读不调用模型 public briefing tests、private HTML tests、public access tests
A13 后台模型费用暂停已有配置与双端门;保留用户交互,未增加每日硬上限 background gate tests、worker contract
A14 四空间、局部字体现影扩散、事件/资料阅读、重复摘录及暗色标题问题已交付;Hot 不再独立频道 Web contract、static gate。原字形显影已移除,当前动效为抽象颗粒
A15 旧 Workbench 产品替代、Product-safe task/system/evidence reads 已完成 API contract、task access tests
A16 丢失投递/孤儿运行的有界恢复已实现;生产容灾另验 runtime recovery、recovery tests

尚不能关闭的工作

编号 / 优先级 状态与 owner 可验收的关闭条件
O01 / 高 M1:新版本 independent delivery 与持续稳定性未重测 冻结独立 expected-event 清单和新监测窗口,解释每个 miss;同时报告 delivery、latency、样本可评率和来源分布,不能以 source count 代替
O02 / 高 M2/M3:开放语义、资产、论文/事件和历史语料质量仅局部验证 冻结人工复核 gold/反例,按维度报告 P/R、正文正确性、引用与实体错误;区分零结果、未知、不可访问
O03 / 高,待预算 M5/M6/M7:当前版本困难 QA、Case-read、长调查、外部工具与多 Agent 收益未形成广泛正式分母 固定新 deployment/model/prompt/world、独立 gold 与截止时间;报告成功率/时间/token、失败与收益基线。当前暂停下不自动跑收费实验
O04 / 中 M1–M3/M7:完整 Historical Knowledge Reader 未实现 Object/identifier/EvidenceLink/structured retrieval 的任意旧 revision 可读;以变化前后事实验证 R3 不读未来 projection
O05 / 中 Runtime/M8:真实 OpenShell/OCI/Firecracker 隔离未验收 在实际目标宿主验证 filesystem/network/credential isolation、teardown、artifact hash、不可用时 fail closed,不能以 mocked tests 结案
O06 / 中 A2A:完整写入/订阅/push transport 未实现 完成 authenticated principal、classification、target binding 与 admission 后的 SendMessage、订阅/推送及跨账户拒绝测试
O07 / 按需求 M5:通用 search/browser、任意仓库/资产 capability 未交付 每个新增绑定定义 scope/授权/预算/输入验证/采集和证据提升,分别通过回归和授权在线案例
O08 / 中 Application:独立通用 /resume 未实现 定义状态、owner、revision/idempotency/并发语义并提供 transport 与回归;现有 session continuation/runtime wake 不冒名替代
O09 / 暂缓 Retrieval:非精确语义 reuse 未交付 若需求成立,定义 freshness/world/relevance 的可检验复用策略;当前只承诺 exact request digest + world 的复用
O10 / 实验 M7:reference-vs-summary 对照未完成 同 frozen cases/model/预算下比较关键上下文保留、旧事实污染、任务质量与 token;不阻塞现有协议
O11 / 高 M8:生产应用发布/回滚/备份恢复/告警送达未完整验收 实际版本化发布、schema 兼容回退、备份还原、故障报警和恢复记录。GitHub Pages 发布只证明文档站 CD
O12 / 中 Model Runtime:M3 模型预算与 auto dialect 每 HTTP exchange 记账部分 M3 接 reserve/settle 并覆盖失败/retry;协商调用有独立物理记录或预先固定 dialect。provider 未报告的货币费用仍不可伪造
O13 / 高,待预算 Reasoning:真实编辑质量未建立独立分母 对固定真实材料人工判定标题/摘要/归因/数字/分析/引用准确性,报告拒绝与修订率;模型自审通过不是独立事实核验
O14 / 中 M7/Security:更广攻击变体与真实模型对抗未覆盖 冻结攻击类、信任边界与判定,保留阻断/漏过及可复现轨迹;旧 controlled security 只覆盖原样本
O15 / 按需求 Accounts:邮件验证、密码找回、OAuth 未实现 按选定账户生命周期补齐安全令牌、过期/重放和跨账户回归;当前仅承诺已有账户与会话能力

明确暂不执行

编号 决定
D01 自动编研、embedding/语义/规范后台模型和新增 WATCH 暂停;采集/词法/确定性处理继续。未经用户改变运行意图不恢复,不加全站每日金额硬上限
D02 普通在线 prompt/response 全量保存不是默认目标;R1 artifacts 为显式 opt-in,保留隐私边界
D03 答辩 PPT、Word/PDF 技术报告和视频不在当前产品优先范围;保留未交付事实,不因 README/Wiki 齐全而勾选
D04 KV cache scheduler、Agentic RL、在线自改 prompt、自动 Skill activation、Kubernetes operator 等 TD3 非目标仍排除;需另有需求和证据才启动

本次复核命令

从代码仓库运行,无收费 provider 调用:

.venv/bin/pytest -q apps/api/tests/test_product_investigations.py apps/api/tests/test_product_questions.py apps/api/tests/test_product_recommendations.py apps/api/tests/test_product_authentication.py apps/api/tests/test_account_resource_access.py apps/api/tests/test_public_brief_routes.py apps/api/tests/test_product_html_report.py apps/application/tests/test_material_library.py apps/application/tests/test_public_briefings.py apps/application/tests/test_nvd_observation.py apps/worker/tests/test_background_llm.py tests/test_github_investigation_observation.py tests/test_registered_source_observation.py packages/runtime/model/tests packages/investigation/replay/tests tests/test_competition_report_docs.py tests/test_source_catalog_pair.py -m 'not integration'
make evidence-doc-check
make site-check WIKI_PATH=../SecFusionAgent.wiki

本页不替代冻结 PRD,也不把“有实现”和“达到所有比赛评分档位”混为一谈。后续完成 O 项时,在同一行补充实际代码/测试/运行证据并改状态;不要再在页面底部追加相互冲突的“当前状态”。