---

今日的10篇论文清晰地反映了当前计算机视觉领域的三个核心演进方向：

• 具身智能与机器人学习的深化：超过三分之一的论文（如 EgoVerse, SANDO, HY-Embodied-0.5）聚焦于为物理世界中的智能体（机器人）提供感知、决策与行动能力。研究重点从静态场景理解转向动态、以自我为中心的交互式学习，并强调安全（SANDO） 与大规模真实世界数据（EgoVerse） 的结合。
• 模拟与数据生成的物理一致性：以 SIM1 为代表的论文，提出将物理对齐的模拟器作为“零样本数据缩放器”，旨在解决复杂可变形世界（如布料、流体）中高质量训练数据稀缺的根本问题。这标志着数据生成范式从“视觉逼真”向“物理精确”的重要转变。
• 多模态与3D重建的规模化与专业化：一方面，通用多模态推理模型（OpenVLThinkerV2）和视觉网页智能体（MolmoWeb）追求能力的广度与开放性。另一方面，研究在3D动态重建（GaussiAnimate）、事件相机姿态估计（E-3DPSM） 和大规模3D重建测试时训练（Scal3R） 等垂直领域持续向更高效、更鲁棒的专业化技术深入。

• 最具范式创新潜力的论文：《SIM1: Physics-Aligned Simulator as Zero-Shot Data Scaler in Deformable Worlds》。该工作将高保真物理模拟器定位为一种无需真实数据即可无限生成“正确”训练数据的核心基础设施，为解决机器人操作、材料仿真等领域的“数据荒”问题提供了一个极具前景的根本性思路。
• 最具实用与工程价值的论文：《EgoVerse: An Egocentric Human Dataset for Robot Learning from Around the World》。高质量、大规模、多样化的真实世界数据集是推动具身AI发展的关键瓶颈。此数据集若如其所述覆盖全球范围的自我中心视角人类活动，将为模仿学习、行为预测等任务提供至关重要的燃料。
• 技术突破性显著的论文：《GaussiAnimate: Reconstruct and Rig Animatable Categories with Level of Dynamics》。在3D高斯溅射（3DGS）热潮中，该论文将其成功扩展至动态、可动画化的类别重建，并引入“动态级别”概念，可能为神经渲染与可控动画生成开辟新的高效途径。

1. 事件相机与状态机的结合：如 E-3DPSM 所示，将事件相机的低延迟、高动态范围特性与明确的状态机逻辑相结合，用于解决自我中心视角下3D姿态估计等挑战性任务，是一个小而精的技术融合趋势。
2. 测试时训练（Test-Time Training）的规模化：Scal3R 将测试时训练应用于大规模3D重建，表明这一旨在提升模型在部署时适应性的技术，正从分类等简单任务向重建、生成等复杂任务扩展。
3. 开放网络环境中的视觉智能体：MolmoWeb 将视觉-语言模型与网页交互结合，并强调“开放数据”与“开放网络”，预示着下一代AI智能体可能直接在开放的互联网环境中进行端到端的学习与任务执行。
4. 文本-视频生成中数值概念的精准对齐：When Numbers Speak 关注文本到视频生成中一个具体但重要的难题——数字（如“三个苹果”）与视觉实例的精确对应，反映了多模态生成技术正从追求宏观合理性向追求细节精确性迈进。

根据研究者的兴趣方向，建议优先阅读：

• 所有研究者（必读趋势）：SIM1。其提出的“物理对齐模拟即数据基础设施”理念可能影响多个子领域。
• 机器人学习/具身AI方向：EgoVerse（数据基础）和 SANDO（安全规划）。前者了解数据前沿，后者掌握安全关键算法。
• 3D视觉/神经渲染方向：GaussiAnimate（动态3DGS前沿）和 Scal3R（大规模重建中的自适应技术）。
• 多模态基础模型方向：OpenVLThinkerV2（了解通用模型进展）和 MolmoWeb（看开放域具身任务的新形式）。

---

总结：今日论文集表明，计算机视觉研究正强力拥抱物理世界，核心驱动力是为具身智能构建数据、仿真与感知的闭环，同时，在3D生成、多模态理解等传统赛道上，研究正向更精确、更可扩展、更专业化的方向纵深发展。

---

1. SIM1: Physics-Aligned Simulator as Zero-Shot Data Scaler in Deformable Worlds
2. MolmoWeb: Open Visual Web Agent and Open Data for the Open Web
3. EgoVerse: An Egocentric Human Dataset for Robot Learning from Around the World
4. SANDO: Safe Autonomous Trajectory Planning for Dynamic Unknown Environments
5. HY-Embodied-0.5: Embodied Foundation Models for Real-World Agents
6. GaussiAnimate: Reconstruct and Rig Animatable Categories with Level of Dynamics
7. When Numbers Speak: Aligning Textual Numerals and Visual Instances in Text-to-Video Diffusion Models
8. E-3DPSM: A State Machine for Event-Based Egocentric 3D Human Pose Estimation
9. Scal3R: Scalable Test-Time Training for Large-Scale 3D Reconstruction
10. OpenVLThinkerV2: A Generalist Multimodal Reasoning Model for Multi-domain Visual Tasks

---

Authors: Yunsong Zhou, Hangxu Liu, Xuekun Jiang, Xing Shen, Yuanzhen Zhou, Hui Wang, Baole Fang, Yang Tian, Mulin Yu, Qiaojun Yu, Li Ma, Hengjie Li, Hanqing Wang, Jia Zeng, Jiangmiao Pang

Published: 2026-04-09

Categories: cs.RO, cs.AI, cs.CV

Abstract:

Robotic manipulation with deformable objects represents a data-intensive regime in embodied learning, where shape, contact, and topology co-evolve in ways that far exceed the variability of rigids. Although simulation promises relief from the cost of real-world data acquisition, prevailing sim-to-real pipelines remain rooted in rigid-body abstractions, producing mismatched geometry, fragile soft dynamics, and motion primitives poorly suited for cloth interaction. We posit that simulation fails not for being synthetic, but for being ungrounded. To address this, we introduce SIM1, a physics-aligned real-to-sim-to-real data engine that grounds simulation in the physical world. Given limited demonstrations, the system digitizes scenes into metric-consistent twins, calibrates deformable dynamics through elastic modeling, and expands behaviors via diffusion-based trajectory generation with quality filtering. This pipeline transforms sparse observations into scaled synthetic supervision with near-demonstration fidelity. Experiments show that policies trained on purely synthetic data achieve parity with real-data baselines at a 1:15 equivalence ratio, while delivering 90% zero-shot success and 50% generalization gains in real-world deployment. These results validate physics-aligned simulation as scalable supervision for deformable manipulation and a practical pathway for data-efficient policy learning.

Analysis:

作为计算机视觉与具身智能（Embodied AI）领域的专家，以下是对《SIM1: Physics-Aligned Simulator as Zero-Shot Data Scaler in Deformable Worlds》这篇论文的深度解析：

该论文提出了一种名为 SIM1 的物理对齐（Physics-Aligned）数据引擎，旨在解决机器人操作可变形物体（Deformable Objects）时数据稀缺的难题。通过将少量真实世界观测转化为度量一致（Metric-consistent）的数字孪生，并结合弹性动力学校准与扩散模型轨迹生成，该系统实现了以极低的真实数据依赖（1:15的比例）训练出具备高泛化能力的机器人策略，弥合了合成数据与真实场景间的“真实感鸿沟”。

• 物理对齐的数字孪生（Physics-Aligned Digital Twins）： 不同于传统的随机化模拟，SIM1 强调将真实场景中的形变、接触和拓扑结构实时映射到模拟器中，实现几何与物理属性的度量级对齐。
• 弹性动力学校准： 该方法针对可变形物体（如布料等）的复杂动态特性，通过模型参数化技术进行精细化校准，从而解决了传统刚体模拟器无法模拟软体物体非线性形变的问题。
• 基于扩散模型的轨迹增强： SIM1 不仅仅依赖传统的物理仿真，还利用扩散模型生成符合物理规律的轨迹，并通过“质量过滤（Quality Filtering）”机制筛选出高保真的合成数据，从而在几何空间中进行无损扩展。

• 范式转换： 证明了“模拟器并非因为是合成的而失效，而是因为未被物理地锚定（Ungrounded）”。这为解决 sim-to-real（仿实迁移）中的分布偏移（Distribution Shift）问题提供了全新的思路。
• 数据效率的突破： 在可变形物体操作任务中，通常需要海量的人工示范。SIM1 提出的“以小博大”数据缩放策略，使得数据收集的边际成本大幅下降，极大地拓宽了复杂操作任务的应用边界。
• 性能基准的提升： 90%的零样本（Zero-shot）成功率和50%的泛化能力提升，标志着机器人从简单的刚体抓取向复杂的非结构化任务处理迈出了关键一步。

• 自动化制造与纺织工业： 在涉及布料、线缆、食品加工等可变形物体的自动化生产线中具有极高的应用价值。
• 医疗机器人： 软组织操作是外科手术机器人的核心难题，该物理对齐框架可用于手术规划与训练。
• 家政机器人： 机器人处理衣物折叠、床铺整理等复杂家务场景，将从该技术中直接获益。
• 计算机视觉（数字孪生）： 对复杂物理材质的视觉建模与物理属性推断，将进一步推动三维视觉感知的发展。

• 计算开销： 尽管训练数据效率高，但“物理对齐”和“数字孪生”的构建过程（涉及复杂的参数校准与扩散模型生成）可能需要较大的实时计算资源。
• 极端拓扑变化的鲁棒性： 对于高度不可预测的拓扑变化（如布料撕裂、复杂纠缠），物理校准的难度依然巨大，可能需要更深层次的力学模型支持。
• 对传感精度的依赖： 该方法的成功高度依赖于初始观测数据的质量，如果真实场景的视觉建模存在闭塞或噪声，可能会导致仿真孪生的精度下降。

专家总结： 这篇论文的精妙之处在于它拒绝了单纯依赖“随机化”或“海量合成”的粗放策略，转而追求“物理精确度”与“生成式多样性”的平衡。对于计算机视觉研究者而言，SIM1 不仅是机器人领域的进步，更代表了如何通过视觉感知构建物理可解释的数字世界的重要探索，是未来走向具身智能通用化的关键技术基石之一。

Key Findings:

• To address this, we introduce SIM1, a physics-aligned real-to-sim-to-real data engine that grounds simulation in the physical world.

Links:

• PDF
• arXiv

---

Authors: Tanmay Gupta, Piper Wolters, Zixian Ma, Peter Sushko, Rock Yuren Pang, Diego Llanes, Yue Yang, Taira Anderson, Boyuan Zheng, Zhongzheng Ren, Harsh Trivedi, Taylor Blanton, Caleb Ouellette, Winson Han, Ali Farhadi, Ranjay Krishna

Published: 2026-04-09

Categories: cs.CV

Abstract:

Web agents--autonomous systems that navigate and execute tasks on the web on behalf of users--have the potential to transform how people interact with the digital world. However, the most capable web agents today rely on proprietary models with undisclosed training data and recipes, limiting scientific understanding, reproducibility, and community-driven progress. We believe agents for the open web should be built in the open. To this end, we introduce (1) MolmoWebMix, a large and diverse mixture of browser task demonstrations and web-GUI perception data and (2) MolmoWeb, a family of fully open multimodal web agents. Specifically, MolmoWebMix combines over 100K synthetic task trajectories from multiple complementary generation pipelines with 30K+ human demonstrations, atomic web-skill trajectories, and GUI perception data, including referring expression grounding and screenshot question answering. MolmoWeb agents operate as instruction-conditioned visual-language action policies: given a task instruction and a webpage screenshot, they predict the next browser action, requiring no access to HTML, accessibility trees, or specialized APIs. Available in 4B and 8B size, on browser-use benchmarks like WebVoyager, Online-Mind2Web, and DeepShop, MolmoWeb agents achieve state-of-the-art results outperforming similar scale open-weight-only models such as Fara-7B, UI-Tars-1.5-7B, and Holo1-7B. MolmoWeb-8B also surpasses set-of-marks (SoM) agents built on much larger closed frontier models like GPT-4o. We further demonstrate consistent gains through test-time scaling via parallel rollouts with best-of-N selection, achieving 94.7% and 60.5% pass@4 (compared to 78.2% and 35.3% pass@1) on WebVoyager and Online-Mind2Web respectively. We will release model checkpoints, training data, code, and a unified evaluation harness to enable reproducibility and accelerate open research on web agents.

Analysis:

Web 代理（autonomous web agents）能够代表用户在网页上进行导航和执行任务，具有改变人类与数字世界交互方式的潜力。然而，目前最强大的 web 代理依赖于闭源的专有模型，其训练数据和方法不透明，限制了科学理解、可复现性和社区协作。我们认为开放网络代理应该在开源环境下构建。为此，我们引入了：(1) MolmoWebMix，一个由浏览器任务演示和 GUI 感知数据组成的庞大且多样化的数据集；(2) MolmoWeb，一个全开放的多模态 web 代理系列。MolmoWeb 代理作为指令条件下的视觉语言行动策略（instruction-conditioned visual-language action policies）运行：给定任务指令和网页截图，它们直接预测下一个浏览器动作，无需访问 HTML、可访问性树（AxTree）或专门的 API。MolmoWeb 代理提供 4B 和 8B 两种规模，在 WebVoyager、Online-Mind2Web 和 DeepShop 等浏览器使用基准测试上取得了最先进的（SOTA）结果，超越了同等规模的开源模型。MolmoWeb-8B 甚至在性能上超越了基于 GPT-4o 等更大封闭模型构建的 Set-of-Marks (SoM) 代理。我们通过并行推理（parallel rollouts）和 best-of-N 选择进一步证明了其性能的持续提升。我们将发布模型检查点、训练数据、代码和统一评估工具，以促进可复现性并加速开放网络代理的研究。

• 驱动力：打破 web 代理领域“闭源垄断”的局面，建立一套完全透明、科学且可复现的开放研究基准。
• 现有方法痛点：主流 web 代理多依赖于专有模型和未公开的训练数据，且常依赖 AxTree 或 DOM 结构，导致跨网站的泛化性差、对动态内容脆弱且计算成本高昂。
• 研究假设：通过高质量、大规模的混合训练数据（含合成轨迹、人类演示、GUI 感知数据），纯视觉输入（visual-only）的轻量级模型能够实现比依赖结构化信息（如 AxTree）的复杂代理更强的任务完成率。

• 流程总结：
  1. 数据混合 (MolmoWebMix)：包含四类数据：合成轨迹（基于 AxTree 代理生成的 100K+ 数据）、人类演示（30K+ 真实网站交互）、原子技能轨迹（特定操作序列）和 GUI 感知数据（ grounding 和 QA）。
  2. 模型架构：基于 Molmo2 视觉语言模型架构（包含 Qwen3 LLM 和 SigLIP2 视觉编码器），进行端到端监督微调（SFT）。
  3. 交互方式：模型接收网页截图、指令和历史动作作为输入，直接预测下一步浏览器动作（鼠标坐标、键盘输入等）。
  4. 推理优化：通过并行推理与 best-of-N 选择，利用 LLM-as-a-judge 筛选最优轨迹，显著降低了错误累积带来的任务失败率。
• 模型结构：采用了轻量化的 4B/8B 参数规模，通过纯视觉输入（截图）实现了对复杂界面的理解，避开了 DOM 树解析带来的不稳定性。

• 本质区别：与依赖网页结构（HTML/AxTree）的代理不同，MolmoWeb 采用纯视觉范式，通过大规模混合数据训练，使轻量模型获得了远超其参数规模的任务完成能力。
• 创新贡献：
  1. 数据闭环：通过多智能体协作、人类演示与 GUI 感知训练，构建了高质量的开放数据集。
  2. 推理机制：验证了并行推理策略能有效缓解 web 代理常见的“行动偏离”问题，实现了显著的性能提升。
• 适用场景：广泛的网页导航与任务执行，尤其适用于对数据透明度有严格要求的企业级应用或学术研究。

• 验证方法：在 WebVoyager, Online-Mind2Web, DeepShop, WebTailBench 四大基准测试上进行评估。
• 关键结果：MolmoWeb-8B 超过了同规模开源模型，且在部分基准上超越了基于 GPT-4o 这一超大封闭模型的代理。
• 主要优势：不仅性能领先，且实现了全链路开源（数据、模型、 pipeline），具有高度可复现性。
• 主要局限：对极短文本的识别仍有待提高；在面对长文本理解时，推理效率和正确率会受模型规模限制。

• 开源情况：模型权重、训练数据及评估工具已全面开放（可查阅其 GitHub/HuggingFace 仓库）。
• 实现细节：建议使用 HuggingFace 推荐的 Top-p 采样策略（p=0.8, T=0.7）以获得最佳生成效果。训练阶段需注意不同数据类型的 mixing ratio。
• 迁移可能：该框架易于迁移至其他多模态交互任务（如桌面应用自动化、软件界面 UI 测试），仅需补充对应的 GUI 感知数据和操作轨迹。

• 核心思想：纯视觉端到端训练实现开放式高性能 web 代理。
• 速记版pipeline：
  1. 收集海量网页交互轨迹与 GUI 感知数据；
  2. 微调轻量级视觉语言模型作为行动策略；
  3. 通过多步骤并行推理筛选最佳路径；
  4. 输出精准浏览器动作序列。

Key Findings:

• To this end, we introduce (1) MolmoWebMix, a large and diverse mixture of browser task demonstrations and web-GUI perception data and (2) MolmoWeb, a family of fully open multimodal web agents.
• MolmoWeb agents operate as instruction-conditioned visual-language action policies: given a task instruction and a webpage screenshot, they predict the next browser action, requiring no access to HTML, accessibility trees, or specialized APIs. Available in 4B and 8B size, on browser-use benchmarks like WebVoyager, Online-Mind2Web, and DeepShop, MolmoWeb agents achieve state-of-the-art results outperforming similar scale open-weight-only models such as Fara-7B, UI-Tars-1.5-7B, and Holo1-7B.

Links:

• PDF
• arXiv

---

Authors: Ryan Punamiya, Simar Kareer, Zeyi Liu, Josh Citron, Ri-Zhao Qiu, Xiongyi Cai, Alexey Gavryushin, Jiaqi Chen, Davide Liconti, Lawrence Y. Zhu, Patcharapong Aphiwetsa, Baoyu Li, Aniketh Cheluva, Pranav Kuppili, Yangcen Liu, Dhruv Patel, Aidan Gao, Hye-Young Chung, Ryan Co, Renee Zbizika, Jeff Liu, Xiaomeng Xu, Haoyu Xiong, Geng Chen, Sebastiano Oliani, Chenyu Yang, Xi Wang, James Fort, Richard Newcombe, Josh Gao, Jason Chong, Garrett Matsuda, Aseem Doriwala, Marc Pollefeys, Robert Katzschmann, Xiaolong Wang, Shuran Song, Judy Hoffman, Danfei Xu

Published: 2026-04-08

Categories: cs.RO, cs.CV

Abstract:

Robot learning increasingly depends on large and diverse data, yet robot data collection remains expensive and difficult to scale. Egocentric human data offer a promising alternative by capturing rich manipulation behavior across everyday environments. However, existing human datasets are often limited in scope, difficult to extend, and fragmented across institutions. We introduce EgoVerse, a collaborative platform for human data-driven robot learning that unifies data collection, processing, and access under a shared framework, enabling contributions from individual researchers, academic labs, and industry partners. The current release includes 1,362 hours (80k episodes) of human demonstrations spanning 1,965 tasks, 240 scenes, and 2,087 unique demonstrators, with standardized formats, manipulation-relevant annotations, and tooling for downstream learning. Beyond the dataset, we conduct a large-scale study of human-to-robot transfer with experiments replicated across multiple labs, tasks, and robot embodiments under shared protocols. We find that policy performance generally improves with increased human data, but that effective scaling depends on alignment between human data and robot learning objectives. Together, the dataset, platform, and study establish a foundation for reproducible progress in human data-driven robot learning. Videos and additional information can be found at https://egoverse.ai/

Analysis:

作为计算机视觉和机器人学习领域的专家，我对《EgoVerse》这篇论文的分析如下：

《EgoVerse》提出了一个旨在解决机器人数据稀缺与碎片化问题的协同平台，通过统一化流程聚合了来自全球的1,362小时大规模第一人称（Egocentric）人类操作演示数据。该研究不仅构建了一个包含海量任务和场景的标准化数据集，还通过跨实验室的大规模实证研究，系统性地揭示了人类数据向机器人策略迁移的缩放定律（Scaling Laws）及其关键影响因素。

• 众包与协同生态系统：打破了以往数据集仅由单一实验室维护的局限，通过“统一框架+协作平台”模式，实现了数据采集、处理与访问的流水线化，极大地提升了数据的多样性与可扩展性。
• 标准化多模态标注：该数据集提供了专门针对“操作（Manipulation）”优化的标准化格式，弥补了现有第一人称视角数据在机器人学习任务中语义信息缺失的问题。
• 多实验室协同复现研究：创新性地在多个实验室、不同机器人形态（Robot Embodiments）及多样化任务场景下，执行了统一实验协议的迁移学习评估，这在机器人学习领域是极为罕见的范式。

• 推动“具身智能”的通用性：该研究为CV领域如何处理“从第一人称视角理解行为”提供了大规模数据基准，有助于训练更具泛化能力的视觉-动作策略模型。
• 验证跨模态迁移的边界：实验中关于“Scaling Law”的结论，即数据规模与模型性能的非线性关系，为计算机视觉中的大模型研究（如Video-to-Policy）提供了量化参考。
• 标准化贡献：通过规范数据处理和评估流程，EgoVerse有望成为机器人学习领域的“ImageNet时刻”，推动领域内的评价指标和训练范式趋向统一。

• 通用机器人基础模型 (Generalist Robot Foundation Models)：为训练可以在家务、工业制造等复杂非结构化环境工作的通用机器人策略提供核心数据引擎。
• 第一人称视觉理解 (Egocentric Vision)：在AR/VR交互、智能穿戴设备、视频理解与动作识别领域，该数据规模将显著推动视觉模型对复杂手部操作与对象交互的建模能力。
• 模仿学习与强化学习：为复杂任务下的模仿学习（Imitation Learning）提供了高质量的初始演示（Demonstrations），极大降低了探索成本。

• 领域差异（Sim-to-Real/Human-to-Robot Gap）：尽管论文强调了迁移研究，但人类手部操作的自由度与机器人执行器的运动学约束（Kinematic Constraints）之间存在天然鸿沟，如何有效处理这种“形态学差异”仍是数据驱动学习的核心难点。
• 数据质量与噪声控制：众包数据往往面临质量参差不齐的问题，即使有标准化流水线，如何通过算法自动清洗或加权处理大规模噪声数据仍具有挑战。
• 长尾任务的分布偏差：虽然包含了1,965个任务，但在实际物理世界中，长尾场景（Rare cases）依然可能存在覆盖不足，这限制了模型在极端环境下的鲁棒性。

专家点评： EgoVerse 的核心价值在于它不再仅仅是一个单纯的“数据集”，而是一个**“社区化基础设施”**。在当前具身智能大模型急需高质量人类演示数据的背景下，该论文通过跨机构协作试图解决数据质量与标注不统一的问题，是迈向机器人规模化学习的重要一步。对于 CV 领域的研究者而言，如何利用这些第一人称视频学习“交互动作语义”，将是后续研究的高价值方向。

Key Findings:

• We introduce EgoVerse, a collaborative platform for human data-driven robot learning that unifies data collection, processing, and access under a shared framework, enabling contributions from individual researchers, academic labs, and industry partners.

Links:

• PDF
• arXiv

---

Authors: Kota Kondo, Jesús Tordesillas, Jonathan P. How

Published: 2026-04-08

Categories: cs.RO

Abstract:

SANDO is a safe trajectory planner for 3D dynamic unknown environments, where obstacle locations and motions are unknown a priori and a collision-free plan can become unsafe at any moment, requiring fast replanning. Existing soft-constraint planners are fast but cannot guarantee collision-free paths, while hard-constraint methods ensure safety at the cost of longer computation. SANDO addresses this trade-off through three contributions. First, a heat map-based A* global planner steers paths away from high-risk regions using soft costs, and a spatiotemporal safe flight corridor (STSFC) generator produces time-layered polytopes that inflate obstacles only by their worst-case reachable set at each time layer, rather than by the worst case over the entire horizon. Second, trajectory optimization is formulated as a Mixed-Integer Quadratic Program (MIQP) with hard collision-avoidance constraints, and a variable elimination technique reduces the number of decision variables, enabling fast computation. Third, a formal safety analysis establishes collision-free guarantees under explicit velocity-bound and estimation-error assumptions. Ablation studies show that variable elimination yields up to 7.4x speedup in optimization time, and that STSFCs are critical for feasibility in dense dynamic environments. Benchmark simulations against state-of-the-art methods across standardized static benchmarks, obstacle-rich static forests, and dynamic environments show that SANDO consistently achieves the highest success rate with no constraint violations across all difficulty levels; perception-only experiments without ground truth obstacle information confirm robust performance under realistic sensing. Hardware experiments on a UAV with fully onboard planning, perception, and localization demonstrate six safe flights in static environments and ten safe flights among dynamic obstacles.

Analysis:

本文提出了SANDO，一种针对3D动态未知环境的自主轨迹规划器。在动态未知环境中，障碍物的位置和运动不可预测，需快速重规划。现有的软约束规划器速度快但缺乏安全保证，而硬约束方法通常计算成本高。SANDO通过三项贡献解决了这一权衡：首先，利用热图辅助的A*全局规划器结合时空安全飞行走廊（STSFC）生成器，通过仅在各时间层膨胀障碍物的最坏情况可达集，而非整个时间跨度，避免了过度保守；其次，轨迹优化被构建为一种引入变量消除技术的混合整数二次规划（MIQP），显著降低了决策变量数量，实现了实时计算；最后，通过形式化安全分析建立了显式速度限制下的碰撞避让保证。模拟与实机实验验证了SANDO在动态环境中的高成功率、无约束违规及实时避障性能。

• 驱动力：在动态、非结构化环境中，既要确保“严格碰撞避让（硬约束）”，又要保持“实时重规划速度”，同时解决静态环境与动态障碍物在安全度量上的不匹配。
• 现有方法痛点：
  • 软约束方法：避障仅通过惩罚项实现，无法提供形式化安全保证。
  • 硬约束方法：通常过于保守（如将障碍物在整个时域进行最大范围膨胀），或计算复杂度随障碍物数量呈指数增长，难以满足实时响应需求。
• 研究假设：通过在时空维度上分层膨胀障碍物（即STSFC），能够精确刻画障碍物随时间的运动不确定性，从而在不丢失安全性的前提下显著增加可行空间。

• SANDO Pipeline：
  1. 跟踪与感知：基于LiDAR点云，通过时间占用栅格和AEKF（自适应扩展卡尔曼滤波）跟踪并预测障碍物轨迹。
  2. 全局规划：利用热图辅助的A*算法，将动态障碍物的预测轨迹和静态障碍物转化为“软惩罚成本”，引导路径避开未来高风险区域。
  3. STSFC生成：将轨迹划分为多个时间片，在每一层（Layer）仅膨胀对应时刻的“最坏情况可达集”，构建时空多面体序列。
  4. 局部优化（MIQP）：引入变量消除技术，通过符号化求解线性约束，大幅减少决策变量（每轴减少至$N-3$个变量），并并行求解多种时间分配策略，选出最优解。
• 关键算法意义：
  • 变量消除：将原本复杂的MIQP降维，使计算量不再随约束数量爆发式增长，是实现硬约束实时化的关键。
  • 时空膨胀：相比空间膨胀，通过引入时间维度的分层膨胀，将轨迹约束在时间-空间多面体（STSFC）中，保证了连续时间的安全性。

• 本质区别：SANDO实现了“时空分层”的硬约束，与基于纯空间膨胀的FASTER或基于软惩罚的EGO-Planner不同，它在保证安全的前提下最大限度保留了自由空间。
• 创新贡献：提出了时空安全飞行走廊（STSFC）和基于变量消除的MIQP实时优化框架，兼顾了安全性与计算效率。
• 适用场景：高动态、高密度障碍物的未知环境，特别适用于无人机等算力有限的移动机器人系统。

• 验证方法：在静态森林、动态模拟器（Gazebo）及实机（X500无人机）中进行广泛对比测试。
• 关键结果：在动态环境下，SANDO在所有难度水平下均实现了100%的成功率，且没有产生任何速度、加速度或加加速度的约束违规，计算时间比同类硬约束算法显著缩短。
• 局限性：在极度密集的环境中，过度的最坏情况膨胀仍可能导致局部解算失败（递归可行性依赖于持续重规划而非理论覆盖）。

• 开源情况：已开源，代码见：https://github.com/mit-acl/sando.git
• 实现细节：关键超参数为N（轨迹片段数，推荐4-6）和变量消除技术的预计算。多线程并行计算时间分配因子是提升成功率的关键步骤。
• 迁移可能：可直接应用于地面移动机器人或其他高动态场景，只需调整动力学约束模型和碰撞预测逻辑。

• 核心思想：通过时空分层膨胀与降维硬约束优化实现实时安全避障。
• 速记版pipeline：
  1. 障碍物追踪与轨迹预测。
  2. 热图辅助生成全局路径。
  3. 动态生成时空分层安全走廊。
  4. 执行降维MIQP实时轨迹优化。

Key Findings:

• SANDO addresses this trade-off through three contributions.
• Benchmark simulations against state-of-the-art methods across standardized static benchmarks, obstacle-rich static forests, and dynamic environments show that SANDO consistently achieves the highest success rate with no constraint violations across all difficulty levels; perception-only experiments without ground truth obstacle information confirm robust performance under realistic sensing.

Links:

• PDF
• arXiv

---

Authors: Tencent Robotics X, HY Vision Team, :, Xumin Yu, Zuyan Liu, Ziyi Wang, He Zhang, Yongming Rao, Fangfu Liu, Yani Zhang, Ruowen Zhao, Oran Wang, Yves Liang, Haitao Lin, Minghui Wang, Yubo Dong, Kevin Cheng, Bolin Ni, Rui Huang, Han Hu, Zhengyou Zhang, Linus, Shunyu Yao

Published: 2026-04-08

Categories: cs.CV

Abstract:

We introduce HY-Embodied-0.5, a family of foundation models specifically designed for real-world embodied agents. To bridge the gap between general Vision-Language Models (VLMs) and the demands of embodied agents, our models are developed to enhance the core capabilities required by embodied intelligence: spatial and temporal visual perception, alongside advanced embodied reasoning for prediction, interaction, and planning. The HY-Embodied-0.5 suite comprises two primary variants: an efficient model with 2B activated parameters designed for edge deployment, and a powerful model with 32B activated parameters targeted for complex reasoning. To support the fine-grained visual perception essential for embodied tasks, we adopt a Mixture-of-Transformers (MoT) architecture to enable modality-specific computing. By incorporating latent tokens, this design effectively enhances the perceptual representation of the models. To improve reasoning capabilities, we introduce an iterative, self-evolving post-training paradigm. Furthermore, we employ on-policy distillation to transfer the advanced capabilities of the large model to the smaller variant, thereby maximizing the performance potential of the compact model. Extensive evaluations across 22 benchmarks, spanning visual perception, spatial reasoning, and embodied understanding, demonstrate the effectiveness of our approach. Our MoT-2B model outperforms similarly sized state-of-the-art models on 16 benchmarks, while the 32B variant achieves performance comparable to frontier models such as Gemini 3.0 Pro. In downstream robot control experiments, we leverage our robust VLM foundation to train an effective Vision-Language-Action (VLA) model, achieving compelling results in real-world physical evaluations. Code and models are open-sourced at https://github.com/Tencent-Hunyuan/HY-Embodied.

Analysis:

以下是对论文《HY-Embodied-0.5: Embodied Foundation Models for Real-World Agents》的技术深度分析：

本文介绍了 HY-Embodied-0.5，这是一个专为现实世界具身智能体设计的基座模型家族。为弥合通用多模态模型（VLMs）与具身任务需求间的鸿沟，我们重点提升了模型在空间/时间视觉感知及具身推理（预测、交互、规划）方面的核心能力。该模型包含两个变体：针对边缘侧部署的 2B 激活参数高效模型，以及用于复杂推理的 32B 激活参数强力模型。通过采用 Mixture-of-Transformers（MoT）架构和视觉潜空间 tokens，模型显著增强了细粒度视觉表征能力。此外，我们引入了迭代式自我演化训练范式，并利用策略蒸馏技术将大型模型的能力迁移至小型版本。在 22 个测评基准上的评估显示其性能优异，并在真实物理机器人控制任务中取得了显著成果。

• 驱动力：旨在将通用的多模态智能转化为物理世界的执行能力，解决当前 VLMs 在物理环境中的“幻觉”及缺乏细粒度空间感知的问题。
• 痛点：现有主流 VLMs 偏向于静态的 Web 规模数据，缺乏对三维几何结构、多视图一致性及复杂长序列决策规划的支持，导致物理落地的行动效率低。
• 核心直觉：通过引入“思维链（CoT）”式的推理过程、Modality-Adaptive 的计算架构以及多层次的具身/空间数据预训练，可以显著增强模型在物理空间中的“具身化”推理能力。

• 架构创新（MoT）：采用 Mixture-of-Transformers 架构，通过非共享参数独立处理视觉和文本流。视觉分支引入了独立的全注意力（Full Attention）机制，文本分支则保持因果注意力（Causal Attention）。
• 视觉增强：在视觉编码器后端引入 learnable 的视觉潜空间 tokens（Visual Latent Tokens），通过全局 loss 监督视觉特征，充当视觉与语言的桥梁。
• 训练 pipeline：
  1. 大规模预训练：在 600B+ tokens 数据上进行视觉-语言对齐，涵盖 perception、spatial 和 embodied 数据。
  2. 具身/空间 Mid-training：引入 25M 高质量 QA 数据，统一提示词格式与坐标体系。
  3. post-training（RL+RFT）：通过强化学习（RL）进行策略探索，结合 RFT（Rejection Sampling Fine-tuning）将成功的推理轨迹显式转化为训练数据，实现“自我演化”。
  4. 大到小蒸馏（OPD）：利用大型模型在自主 rollout 状态下作为教师，通过 KL 散度 loss 引导小型模型对齐推理路径。

• 本质区别：与通用 VLM（如 Qwen-VL）不同，HY-Embodied-0.5 将“推理过程”显式建模（即 token），并在 MoT 架构中刻意保留了视觉与语言分支的独立性，以避免视觉训练破坏语言能力。
• 创新贡献：成功将“深度思维”与“视觉感知”结合，在 2B 参数量级下实现了与更大模型匹敌的 embodied 能力。
• 适用场景：机器人导航、操作规划、物理空间交互、视觉问答。

• 验证方法：在 22 个感知、空间推理和具身理解基准上与主流 SOTA 模型对比，并进行了真实机器人操作实验。
• 关键结果：MoT-2B 在 16/22 benchmark 上领先同规模模型；MoE-A32B 在整体得分上超过 Gemini 3.0 Pro。
• 局限性：对极高分辨率的动态环境实时处理可能仍受限于推理速度。

• 开源情况：已开源，GitHub 地址：https://github.com/Tencent-Hunyuan/HY-Embodied。
• 实现细节：在训练阶段注意关闭 sequence packing 以保证推理链路独立；在 RL 阶段使用 GRPO 算法以节省内存并提高稳定性。
• 迁移可能：MoT 架构可轻松迁移至需要处理多模态不平衡（如图像 tokens 占比极高）的任务中。

• 核心思想：通过分模态架构与强化推理机制，将数字智能翻译为物理执行能力。
• 速记版 pipeline：
  1. 双模态拆分架构（MoT 处理 vision/text）。
  2. 大规模多维预训练（物理+空间数据）。
  3. 迭代自演化 RL（奖励驱动与思维链优化）。
  4. 大到小在线蒸馏（对齐教师模型的认知过程）。

Key Findings:

• We introduce HY-Embodied-0.5, a family of foundation models specifically designed for real-world embodied agents.
• To improve reasoning capabilities, we introduce an iterative, self-evolving post-training paradigm.
• Extensive evaluations across 22 benchmarks, spanning visual perception, spatial reasoning, and embodied understanding, demonstrate the effectiveness of our approach.
• Our MoT-2B model outperforms similarly sized state-of-the-art models on 16 benchmarks, while the 32B variant achieves performance comparable to frontier models such as Gemini 3.0 Pro.

Links:

• PDF
• arXiv

---

Authors: Jiaxin Wang, Dongxin Lyu, Zeyu Cai, Zhiyang Dou, Cheng Lin, Anpei Chen, Yuliang Xiu

Published: 2026-04-09

Categories: cs.CV, cs.GR

Abstract:

Free-form bones, that conform closely to the surface, can effectively capture non-rigid deformations, but lack a kinematic structure necessary for intuitive control. Thus, we propose a Scaffold-Skin Rigging System, termed "Skelebones", with three key steps: (1) Bones: compress temporally-consistent deformable Gaussians into free-form bones, approximating non-rigid surface deformations; (2) Skeleton: extract a Mean Curvature Skeleton from canonical Gaussians and refine it temporally, ensuring a category-agnostic, motion-adaptive, and topology-correct kinematic structure; (3) Binding: bind the skeleton and bones via non-parametric partwise motion matching (PartMM), synthesizing novel bone motions by matching, retrieving, and blending existing ones. Collectively, these three steps enable us to compress the Level of Dynamics of 4D shapes into compact skelebones that are both controllable and expressive. We validate our approach on both synthetic and real-world datasets, achieving significant improvements in reanimation performance across unseen poses-with 17.3% PSNR gains over Linear Blend Skinning (LBS) and 21.7% over Bag-of-Bones (BoB)-while maintaining excellent reconstruction fidelity, particularly for characters exhibiting complex non-rigid surface dynamics. Our Partwise Motion Matching algorithm demonstrates strong generalization to both Gaussian and mesh representations, especially under low-data regime (~1000 frames), achieving 48.4% RMSE improvement over robust LBS and outperforming GRU- and MLP-based learning methods by >20%. Code will be made publicly available for research purposes at cookmaker.cn/gaussianimate.

Analysis:

以下是对《GaussiAnimate》论文的方法论分析与总结：

自由形式的骨骼（Free-form bones）虽能紧贴表面有效捕捉非刚性形变，却缺乏直观控制所需的运动学结构。为此，我们提出了一种名为“Skelebones”的支架皮肤绑定系统，包含三个关键步骤：（1）骨骼：将时间一致性的可形变高斯（Gaussians）压缩为自由形式骨骼，以逼近非刚性表面形变；（2）骨架：从规范空间的高斯中提取平均曲率骨架，并进行时间上的精细化，确保其具备类别无关性、运动自适应性及拓扑正确性；（3）绑定：通过非参数化的分部运动匹配（PartMM）将骨架与骨骼连接，合成新的骨骼运动。

• 核心痛点：现有方法在“直观控制”（如铰接骨架）与“形变保真度”（如自由形式的网格/斑点）之间存在难以调和的矛盾。
• 研究假设：通过将形变分解为“层级化动态”——即内层的铰接骨架（控制低频刚性运动）与外层的自由骨骼（控制高频非刚性形变），可以同时实现可控性与保真度。

• Skelebones 构造 (Pipeline)：
  1. 骨骼压缩 (Bones)：使用 ARAP 约束实现局部刚性，结合运动引导聚类和 SSDR 算法，将密集的 4D 高斯压缩为一组稀疏的自由形式骨骼。
  2. 骨架提取 (Skeleton)：从规范空间的高斯中提取平均曲率骨架。通过检测 SSDR 权重在骨架上的空间梯度，自动定位 anatomical 关节，并通过 DFS 遍历构建层级化运动树。
  3. 分部运动匹配 (PartMM)：这是本文的核心算法。将骨骼绑定视为“Query-Key-Value”问题：骨架pose作为 Query，数据库中现有的骨架片段作为 Key，对应的骨骼变形作为 Value。通过 KNN 检索匹配，再通过 SVD 优化旋转对齐，最后结合多尺度金字塔进行平滑 blending。

• 本质区别：与传统依赖单一骨架（Template-based）或单纯自由块（Bag-of-Bones）的方法不同，本文引入了“骨架驱动骨骼”的层级结构，且采用非参数化的运动匹配代替了端到端的权重训练。
• 创新贡献：解耦了建模与动画过程，实现了无需预定义模板（Template-free）的通用化绑定。

• 关键结论：在 DNA-Rendering 和 ActorHQ 数据集上，该方法比 LBS 和 BoB 分别有 17.3% 和 45.6% 的 PSNR 提升，且在低数据量条件下（约 1000 帧）表现出极强的泛化能力。
• 优势：极佳的运行效率（绑定阶段仅需 2 分钟），对不同实体（人类、动物、服装）具有高度通用性。
• 局限：目前尚未达到实时渲染速度；对于极其复杂的衣物（如裙子），髋部关节位置有时会偏离解剖结构。

• 开源地址：cookmaker.cn/gaussianimate
• 关键注意事项：
  • 数据集需要先进行 temporally-consistent 的 4D 高斯重建（如使用 SC-GS）。
  • 骨架提取对 SSDR 的质量极度敏感，必须保证 ARAP 约束有效。
  • 若要迁移至其他任务，需构建高质量的运动 patches 数据库（KVQ 检索的性能直接决定生成质量）。

• 核心思想：通过解耦层级动态，以运动匹配实现高保真度的可控形变。
• 速记版 Pipeline：
  1. 聚类压缩高斯形成“自由骨骼”；
  2. 梯度分析提取“层级骨架”；
  3. 匹配骨架片段合成“骨骼运动”。

Key Findings:

• Thus, we propose a Scaffold-Skin Rigging System, termed "Skelebones", with three key steps: (1) Bones: compress temporally-consistent deformable Gaussians into free-form bones, approximating non-rigid surface deformations; (2) Skeleton: extract a Mean Curvature Skeleton from canonical Gaussians and refine it temporally, ensuring a category-agnostic, motion-adaptive, and topology-correct kinematic structure; (3) Binding: bind the skeleton and bones via non-parametric partwise motion matching (PartMM), synthesizing novel bone motions by matching, retrieving, and blending existing ones.
• We validate our approach on both synthetic and real-world datasets, achieving significant improvements in reanimation performance across unseen poses-with 17.3% PSNR gains over Linear Blend Skinning (LBS) and 21.7% over Bag-of-Bones (BoB)-while maintaining excellent reconstruction fidelity, particularly for characters exhibiting complex non-rigid surface dynamics.

Links:

• PDF
• arXiv

---

Authors: Zhengyang Sun, Yu Chen, Xin Zhou, Xiaofan Li, Xiwu Chen, Dingkang Liang, Xiang Bai

Published: 2026-04-09

Categories: cs.CV

Abstract:

Text-to-video diffusion models have enabled open-ended video synthesis, but often struggle with generating the correct number of objects specified in a prompt. We introduce NUMINA , a training-free identify-then-guide framework for improved numerical alignment. NUMINA identifies prompt-layout inconsistencies by selecting discriminative self- and cross-attention heads to derive a countable latent layout. It then refines this layout conservatively and modulates cross-attention to guide regeneration. On the introduced CountBench, NUMINA improves counting accuracy by up to 7.4% on Wan2.1-1.3B, and by 4.9% and 5.5% on 5B and 14B models, respectively. Furthermore, CLIP alignment is improved while maintaining temporal consistency. These results demonstrate that structural guidance complements seed search and prompt enhancement, offering a practical path toward count-accurate text-to-video diffusion. The code is available at https://github.com/H-EmbodVis/NUMINA.

Analysis:

以下是对论文《When Numbers Speak: Aligning Textual Numerals and Visual Instances in Text-to-Video Diffusion Models》的深度技术分析：

文本到视频（T2V）生成模型在处理提示词中指定的对象数量时常面临困难。我们提出了NUMINA，一个训练免费的“识别-引导”框架，用于改善数值对齐。NUMINA通过选择判别性自注意力和交叉注意力头来识别提示词与布局之间的不一致，从而推导出可数的潜在布局。随后，它通过保守地细化该布局并调制交叉注意力来引导视频的重生成。在CountBench基准测试中，NUMINA在Wan2.1-1.3B上将计数准确率提升了7.4%，并在5B和14B模型上分别提升了4.9%和5.5%。该方法在保持视觉布局和时间连贯性的同时提升了CLIP对齐效果，为实现高准确度的T2V生成提供了一条实用路径。

• 核心痛点：现有T2V模型在处理“数量”这一离散约束时，往往表现出语义基础薄弱（数值token激活分散）和实例模糊（潜在空间下采样导致实例不可分）的问题。
• 研究假设：T2V模型的注意力机制中其实隐藏着关键的实例信息，只是未能被充分利用。通过显式地提取这些信息并进行布局重构，无需训练即可实现对生成过程的精确控制。

NUMINA框架遵循“识别-引导”的双阶段范式：

• 阶段一：数值不一致识别（Identify）
  • 动态头选择：在预生成阶段，通过设计的三个分数指标（前景背景分离度 $S_1$、结构丰富度 $S_2$、边缘清晰度 $S_3$）自动挑选出最具有“实例判别力”的自注意力头和“语义对齐最集中”的交叉注意力头。
  • 布局构建：将选中的自注意图通过聚类（Clustering）生成物体空间提案（Proposals），结合交叉注意力图确定的焦点掩码（Focus Mask），利用交并比（IoU）阈值筛选出精确的实例布局 $M_T$。
• 阶段二：布局引导的视频重生成（Guide）
  • 布局精细化：根据提示词的目标计数 $k_T$，通过添加或删除操作调整布局掩码。删除时移除最小区域；添加时利用启发式代价函数（考虑空间重叠、位置合理性、时间稳定性）寻找最优插入位置。
  • 注意力引导：在去噪过程中，通过调制交叉注意力分数 $softmax(S_{pre} + B)$。对于添加区域应用注意力增强（Attention Boost），对于移除区域应用强制抑制（Attention Suppression）。这种引导受到强度函数 $\delta(t)$ 的约束，在去噪早期强干预，后期弱干预以保留细节。

• 本质区别：与需要训练或依赖辅助模型（如GroundingDINO）的方案不同，NUMINA完全基于预训练模型自身的内在特征进行训练免费（Training-free）干预。
• 创新贡献：提出了一套基于注意力图的自动布局提取与修正流水线，将隐式的“数值语义”转化为了显式的“空间约束”。
• 适用场景：适用于任何基于Transformer架构的T2V生成模型（如Wan, CogVideoX等），对于复杂场景的计数一致性具有显著改进效果。

• 核心结论：在CountBench上，NUMINA全线显著提升了计数准确率。特别是在1.3B等较小模型上，其表现甚至超越了基准更大的模型。
• 主要优势：不仅大幅提升了计数准确度，且在时间连贯性（TC）和CLIP语义对齐上亦有改善，证明了该方法并未破坏视频的原有质量。
• 主要局限：当模型对物体的注意力过于集中在细微局部（如鹦鹉头）时，会导致过分割，产生计数错误。

• 开源情况：代码已开源（https://github.com/H-EmbodVis/NUMINA）。
• 实现细节：关键超参数包括参考时间步 $t^\star=20$ 和层索引 $\ell^\star=15$。迁移至其他模型时，需重点通过注意力分解策略将多模态注意力模块适配为自注意力和交叉注意力。
• 迁移建议：该方法逻辑通用，可直接适配到任何基于DiT架构的生成任务中，重点在于如何根据具体架构微调注意力头的选择策略。

• 核心思想：通过挖掘预训练注意力图的实例特征，实现无训练的视频数值一致性布局控制。
• 速记版Pipeline：
  1. 挑选注意力头：自动找到能区分物体的注意力图。
  2. 构建布局图：聚类生成物体掩码，识别当前实例计数。
  3. 修正计数误差：增减掩码区域以对齐目标数字。
  4. 增强生成引导：利用掩码在重生成时对注意力进行加减压。

Key Findings:

• We introduce NUMINA , a training-free identify-then-guide framework for improved numerical alignment.

Links:

• PDF
• arXiv

---

Authors: Mayur Deshmukh, Hiroyasu Akada, Helge Rhodin, Christian Theobalt, Vladislav Golyanik

Published: 2026-04-09

Categories: cs.CV

Abstract:

Event cameras offer multiple advantages in monocular egocentric 3D human pose estimation from head-mounted devices, such as millisecond temporal resolution, high dynamic range, and negligible motion blur. Existing methods effectively leverage these properties, but suffer from low 3D estimation accuracy, insufficient in many applications (e.g., immersive VR/AR). This is due to the design not being fully tailored towards event streams (e.g., their asynchronous and continuous nature), leading to high sensitivity to self-occlusions and temporal jitter in the estimates. This paper rethinks the setting and introduces E-3DPSM, an event-driven continuous pose state machine for event-based egocentric 3D human pose estimation. E-3DPSM aligns continuous human motion with fine-grained event dynamics; it evolves latent states and predicts continuous changes in 3D joint positions associated with observed events, which are fused with direct 3D human pose predictions, leading to stable and drift-free final 3D pose reconstructions. E-3DPSM runs in real-time at 80 Hz on a single workstation and sets a new state of the art in experiments on two benchmarks, improving accuracy by up to 19% (MPJPE) and temporal stability by up to 2.7x. See our project page for the source code and trained models.

Analysis:

事件相机在单目自中心（Egocentric）3D人体姿态估计中具有高时间分辨率、高动态范围和极少运动模糊等优势，但现有方法在精度和稳定性上仍显不足。这主要是因为现有设计并未充分利用事件流的异步连续特性，导致对遮挡敏感且估计结果存在抖动。本文提出了 E-3DPSM，一种用于事件驱动的连续姿态状态机。E-3DPSM 将连续的人体运动与事件动态对齐，通过演化潜在状态来预测3D关节位置的变化（delta pose），并与直接的3D姿态预测相融合，从而实现稳定、无漂移的3D重建。该方法在两个基准测试上达到了新的技术领先水平，MPJPE提升高达19%，时间稳定性提升至2.7倍，且能以80Hz实时运行。

• 驱动力：利用事件相机异步、高频的特性，弥补传统基于帧的姿态估计在快速运动和遮挡下的性能瓶颈。
• 现有方法痛点：以往方法（如EventEgo3D）过度依赖前一帧或单帧事件窗口，忽视了事件流的连续动态性；过分依赖2D热图导致量化误差和背景分割依赖，缺乏对时序漂移的有效补偿。
• 研究假设：通过将姿态估计建模为连续的动态状态演化过程（利用状态空间模型SSM），可以将“事件即变化”的物理直觉直接映射到3D空间中的运动偏移（Delta），从而实现比单纯预测绝对位置更稳定、鲁棒的估计。

E-3DPSM 的核心流程如下：

1. 事件表示与编码：将原始事件流转换为局部归一化事件面（LNES），输入到一个包含多阶段卷积金字塔、可变形注意力（Deformable Attention）和S5状态空间模型（SSM）的模块（SPEM）中，提取时空联动的 joint-specific 特征。
2. 双分支预测：PRM模块同时输出直接姿态（Direct Pose）和增量姿态（Delta Pose）。前者提供全局约束，后者捕捉帧间的微小运动变化。
3. 神经卡尔曼融合（Learned Pose Fusion）：这是该方法的创新核心。通过一个可微的神经卡尔曼滤波器，根据学习到的过程噪声（Q）和观测噪声（R），自适应地融合直接姿态预测与delta累积结果，实现对漂移的动态校正。

• 关键机制：SSM负责维护长期时序记忆，融合模块负责平衡全局Anchor与局部Delta，实现稳定性闭环。

• 本质区别：从“帧到帧”的独立推理转化为“状态演化”的连续跟踪，不再依赖中间件（如分割掩码或热图）。
• 创新贡献：引入神经卡尔曼滤波器自适应调节置信度；将运动增量作为姿态更新的一等公民。
• 适用场景：适用于高速、高遮挡、低光照等极端运动捕捉场景，尤其适合头戴式设备。

• 验证方法：在EE3D-R和EE3D-W数据集上进行了广泛对比，重点对比了基线（EventEgo3D/++）及RGB基线。
• 关键结论：MPJPE大幅下降，尤其是下肢和被遮挡关节的精度提升明显；在噪声干扰下稳定性（esmooth）提升2.7倍。
• 局限性：在极强遮挡和极端复杂环境下（如多人干扰）仍存在偶尔的跟踪丢失，依赖于模型对运动先验的准确预测。

• 开源情况：项目主页已提供代码和模型（参考论文脚注）。
• 实现细节：
  • S5 Layer：利用状态空间模型的卷积特性并行训练，因果模式进行推理。
  • 数据预处理：使用20ms的LNES窗口，保持训练序列长度 $N=40$。
  • 训练策略：无需预训练合成数据，端到端优化Loss组合（包括Delta、绝对姿态、骨骼长度、方向Loss）。
• 迁移可能：SSM+卡尔曼融合架构可直接迁移至任何时序序列估计任务，如SLAM中的轨迹估计或手势跟踪。

• 核心思想：利用事件流演化的隐状态，通过卡尔曼滤波实现鲁棒的3D姿态融合。
• 速记版pipeline：
  1. 事件面（LNES）特征提取
  2. 预测绝对姿态与相对位移（Delta）
  3. 神经卡尔曼滤波自适应融合
  4. 输出漂移校正后的稳定姿态序列

Key Findings:

• E-3DPSM runs in real-time at 80 Hz on a single workstation and sets a new state of the art in experiments on two benchmarks, improving accuracy by up to 19% (MPJPE) and temporal stability by up to 2.7x.

Links:

• PDF
• arXiv

---

Authors: Tao Xie, Peishan Yang, Yudong Jin, Yingfeng Cai, Wei Yin, Weiqiang Ren, Qian Zhang, Wei Hua, Sida Peng, Xiaoyang Guo, Xiaowei Zhou

Published: 2026-04-09

Categories: cs.CV

Abstract:

This paper addresses the task of large-scale 3D scene reconstruction from long video sequences. Recent feed-forward reconstruction models have shown promising results by directly regressing 3D geometry from RGB images without explicit 3D priors or geometric constraints. However, these methods often struggle to maintain reconstruction accuracy and consistency over long sequences due to limited memory capacity and the inability to effectively capture global contextual cues. In contrast, humans can naturally exploit the global understanding of the scene to inform local perception. Motivated by this, we propose a novel neural global context representation that efficiently compresses and retains long-range scene information, enabling the model to leverage extensive contextual cues for enhanced reconstruction accuracy and consistency. The context representation is realized through a set of lightweight neural sub-networks that are rapidly adapted during test time via self-supervised objectives, which substantially increases memory capacity without incurring significant computational overhead. The experiments on multiple large-scale benchmarks, including the KITTI Odometry~\cite{Geiger2012CVPR} and Oxford Spires~\cite{tao2025spires} datasets, demonstrate the effectiveness of our approach in handling ultra-large scenes, achieving leading pose accuracy and state-of-the-art 3D reconstruction accuracy while maintaining efficiency. Code is available at https://zju3dv.github.io/scal3r.

Analysis:

作为计算机视觉领域的专家，我对这篇题为 《Scal3R: Scalable Test-Time Training for Large-Scale 3D Reconstruction》 的论文分析如下：

该论文针对长视频序列进行大规模3D场景重建时，现有前馈模型（feed-forward models）难以保持长时一致性和全局几何准确性的难题，提出了一种基于神经全局上下文表示的测试时训练（Test-Time Training, TTT）框架。通过引入一组轻量级的、可在测试阶段通过自监督目标快速适应的神经网络，该方法显著提升了模型处理大规模场景的能力，实现了精度与计算效率的平衡。

• 神经全局上下文表示 (Neural Global Context Representation)： 不同于以往仅依赖局部特征匹配或直接回归的方法，Scal3R 利用一组轻量级神经网络作为“记忆库”，将长序列中的全局场景信息进行压缩与持久化存储。
• 高效的测试时训练 (Scalable TTT)： 模型不仅仅依赖推理阶段的权重，而是通过引入自监督目标函数，允许模型在推理时动态微调这些轻量级子网络。这种机制解决了传统模型无法捕捉全局上下文的瓶颈，同时避免了全量微调带来的巨大计算开销。
• 架构解耦： 将全局场景信息的捕捉与局部几何重建解耦，使得模型既能处理超大规模场景，又能保持单帧重建的高效性。

• 范式转移： 该研究挑战了“前馈重建模型必须在训练时预见所有场景规模”的观点，展示了**测试时自适应（Test-Time Adaptation）**在处理长时视觉数据流方面的巨大潜力。
• 解决“长序列退化”难题： 在长视频流（如自动驾驶、室内漫游）中，全局一致性一直是3D重建的“阿喀琉斯之踵”。Scal3R 证明了通过小规模神经参数的在线更新，可以在不牺牲帧率的前提下修复累积误差。

• 自动驾驶 (Autonomous Driving)： 对于需要实时处理长达数公里行驶里程的车辆而言，该技术能显著提升多帧融合的位姿精度与场景重建质量。
• AR/VR 空间计算： 允许设备在长时间的连续扫描过程中，不断优化其对周围环境的“记忆”，构建更完整、一致的数字孪生模型。
• 无人机测绘： 在进行大规模航拍重建时，该方法有助于解决由于相机运动剧烈导致的全局漂移（drift）问题。

• 自监督信号的鲁棒性： 测试时训练（TTT）的效果高度依赖于自监督目标函数的有效性。如果场景极其复杂或纹理高度重复，自监督信号可能会引导模型收敛到错误的几何状态。
• 在线更新的计算延迟： 虽然论文提到该方案是“轻量级”的，但在极高帧率要求的移动端设备上，每帧或每隔几帧进行参数更新（即便是子网络）是否能完全满足实时性需求仍有待商榷。
• 遗忘机制（Catastrophic Forgetting）： 在超长序列中，如何确保模型在更新新场景信息时，不会丢失之前序列的关键几何信息，这也是此类方法通常面临的挑战。

---

专家点评： 这篇论文的有趣之处在于它将**“记忆化（Memorization）”和“自适应（Adaptation）”**巧妙地结合在一起。传统的3D重建要么是基于优化的（如COLMAP，极慢），要么是基于学习的（如Feed-forward，易丢失一致性），Scal3R 通过引入能够动态更新的神经上下文，提供了一种“即插即用”的中间路线，这对于推进大规模、长生命周期的3D感知系统具有重要的工程参考价值。

Key Findings:

• Motivated by this, we propose a novel neural global context representation that efficiently compresses and retains long-range scene information, enabling the model to leverage extensive contextual cues for enhanced reconstruction accuracy and consistency.
• The experiments on multiple large-scale benchmarks, including the KITTI Odometry~\cite{Geiger2012CVPR} and Oxford Spires~\cite{tao2025spires} datasets, demonstrate the effectiveness of our approach in handling ultra-large scenes, achieving leading pose accuracy and state-of-the-art 3D reconstruction accuracy while maintaining efficiency.

Links:

• PDF
• arXiv

---

Authors: Wenbo Hu, Xin Chen, Yan Gao-Tian, Yihe Deng, Nanyun Peng, Kai-Wei Chang

Published: 2026-04-09

Categories: cs.CV, cs.AI, cs.CL

Abstract:

Group Relative Policy Optimization (GRPO) has emerged as the de facto Reinforcement Learning (RL) objective driving recent advancements in Multimodal Large Language Models. However, extending this success to open-source multimodal generalist models remains heavily constrained by two primary challenges: the extreme variance in reward topologies across diverse visual tasks, and the inherent difficulty of balancing fine-grained perception with multi-step reasoning capabilities. To address these issues, we introduce Gaussian GRPO (G$^2$RPO), a novel RL training objective that replaces standard linear scaling with non-linear distributional matching. By mathematically forcing the advantage distribution of any given task to strictly converge to a standard normal distribution, $\mathcal{N}(0,1)$, G$^2$RPO theoretically ensures inter-task gradient equity, mitigates vulnerabilities to heavy-tail outliers, and offers symmetric update for positive and negative rewards. Leveraging the enhanced training stability provided by G$^2$RPO, we introduce two task-level shaping mechanisms to seamlessly balance perception and reasoning. First, response length shaping dynamically elicits extended reasoning chains for complex queries while enforce direct outputs to bolster visual grounding. Second, entropy shaping tightly bounds the model's exploration zone, effectively preventing both entropy collapse and entropy explosion. Integrating these methodologies, we present OpenVLThinkerV2, a highly robust, general-purpose multimodal model. Extensive evaluations across 18 diverse benchmarks demonstrate its superior performance over strong open-source and leading proprietary frontier models.

Analysis:

以下是对论文《OpenVLThinkerV2: A Generalist Multimodal Reasoning Model for Multi-domain Visual Tasks》的方法深度分析。

Group Relative Policy Optimization (GRPO) 已成为推动多模态大语言模型（MLLM）进展的实际强化学习（RL）标准。然而，将其扩展至开源多模态通用模型仍受限于两大挑战：不同视觉任务间奖励拓扑的极端差异，以及在细粒度感知与多步推理之间平衡的内在困难。为解决这些问题，我们引入了高斯 GRPO (G²RPO)，这是一种新的 RL 训练目标，通过非线性分布匹配取代了标准线性缩放。通过数学上强制各任务的优势分布严格收敛于标准正态分布 $\mathcal{N}(0,1)$，G²RPO 理论上确保了跨任务的梯度公平性，缓解了对重尾异常值的脆弱性，并提供了针对正负奖励的对称更新。利用 G²RPO 提供的增强训练稳定性，我们引入了两种任务级塑形机制来无缝平衡感知与推理。首先，响应长度塑形动态地为复杂查询引发扩展的推理链，同时强制直接输出以增强视觉定位。其次，熵塑形紧密限制模型的探索区域，有效防止了熵崩溃和熵爆炸。结合这些方法，我们提出了 OpenVLThinkerV2，这是一个高度鲁棒的通用多模态模型。在 18 个不同基准测试上的广泛评估证明了其优于强开源和领先商业前沿模型的卓越性能。

• 驱动力：在多任务强化学习中，不同任务（如数学推理 vs. 视觉定位）的奖励分布差异巨大，直接应用 GRPO 会导致梯度失衡或爆炸。
• 痛点：现有的线性归一化（如 standard GRPO, DR.GRPO）无法纠正奖励分布的形状偏态（如重尾、双峰），导致梯度更新对异常值敏感且跨任务性能不均衡。
• 假设：若能通过非线性变换将所有任务的奖励分布统一映射至标准正态分布 $\mathcal{N}(0,1)$，则能实现真正的跨任务梯度公平，并消除奖励异常值带来的干扰。

• G²RPO（核心算法）：
  • 步骤：首先计算奖励的相对排名（Rank），将其映射为均匀分布下的概率值 $p_i$；接着利用标准正态分布的逆累积分布函数（Inverse CDF, $\Phi^{-1}$）将 $p_i$ 映射为高斯分布下的分位数。
  • tie-breaking：对奖励相同的数据点，取其对应分位数的均值作为统一优势值，防止相同表现获得不同反馈。
  • 数学意义：将复杂的经验分布转化为标准的正态分布，从而统一了所有任务的奖励量级，使得梯度更新具备高度的一致性和对称性。
• 任务级塑形（辅助策略）：
  • 响应长度塑形：通过自定义的梯形奖励函数（$R_{\text{length}}$），强制限制回复长度在任务预设的区间内，避免推理任务过短而感知任务过长（防止幻觉）。
  • 熵塑形：通过对平均熵损失设置阈值窗口（$H_{\min}, H_{\max}$），对超出范围的训练阶段进行边际惩罚，防止模型陷入“过度探索”导致的不稳定（爆炸）或“过度利用”导致的发散（崩溃）。

• 本质区别：从传统的“线性标准化（处理一二阶矩）”转向“非线性分布匹配（处理全分布形态）”。
• 创新点：将强化学习中的优势估计转化为 1D 最优传输（Optimal Transport）问题，利用闭式解高效实现分布映射。
• 适用场景：极度异构的多任务强化学习场景，特别是存在奖励范围跨度大、长尾分布严重的任务集。

• 结论：G²RPO 显著提升了模型在 MMMU 和 MathVista 等推理型基准上的表现，并使其在视觉定位任务上达到了 SOTA 水平。
• 优势：训练曲线更平滑（相比 GRPO 震荡更小），跨任务收敛更稳健，无需复杂的超参数精细调试。
• 局限：对任务特有的长度和熵阈值设置依赖一定经验，虽表现出良好的鲁棒性，但尚未实现完全自动化的动态搜索。

• 实现细节：G²RPO 计算中使用的 torch.erfinv 是核心实现点，算法保持了与标准 GRPO 类似的计算复杂度。
• 迁移建议：该方法非常适合迁移至需要混合多种任务类型（如多模态、编程、逻辑推理）的 RLHF 阶段。只需定义好任务类别的期望长度与熵范围，即可直接替换原有的 advantage 计算逻辑。

• 核心思想：通过最优传输将多任务奖励统一映射为正态分布，彻底解决跨任务梯度不平衡。
• 速记版pipeline：
  1. 计算奖励排序分布。
  2. 利用分位数函数将排序映射到标准正态分布。
  3. 结合长度和熵约束进行边际惩罚。
  4. 计算最终优势值并执行 clipped PPO 更新。

Key Findings:

• To address these issues, we introduce Gaussian GRPO (G$^2$RPO), a novel RL training objective that replaces standard linear scaling with non-linear distributional matching.
• Leveraging the enhanced training stability provided by G$^2$RPO, we introduce two task-level shaping mechanisms to seamlessly balance perception and reasoning.
• Integrating these methodologies, we present OpenVLThinkerV2, a highly robust, general-purpose multimodal model.

Links:

• PDF
• arXiv

---