Arxiv Report 2026 06 16 - Owen-Liuyuxuan/everyday_my_arxiv GitHub Wiki

Arxiv Computer Vision Papers - 2026-06-16

Executive Summary

每日 Arxiv 计算机视觉论文执行摘要（2026-06-15）

报告日期：2026-06-15
论文数量：10篇

一、主要主题与趋势

本期论文集中反映了两个核心趋势：具身智能与机器人操纵 的深度融合，以及 生成模型在视觉理解与逆问题求解 中的广泛应用。具体表现为：

  • 机器人操纵 占据半数以上论文，涵盖触觉感知、抓取规划、策略学习、人类干预等方向，显示出从“视触觉融合”到“技能泛化”的全面进展。
  • 生成模型 被用于场景逆渲染（BRDFusion）、逆问题求解（Exact Posterior Score）、视频世界模型（Qwen-RobotWorld, DreamX-World）等，表明扩散模型和自回归生成已成为视觉计算的基石工具。
  • 开放词汇分割（ActiveSAM）与交互式世界模型 则代表了视觉理解从静态识别向动态、可交互场景的演进。

二、特别重要或创新的论文

  1. 《T-Rex: Tactile-Reactive Dexterous Manipulation》
    将触觉反馈与灵巧手操作结合，实现了对未建模物体的实时适应性抓取，是触觉-视觉融合在机器人操纵中的前沿突破。

  2. 《BRDFusion: Physics Meets Generation for Urban Scene Inverse Rendering》
    将物理渲染模型与生成先验结合，解决城市级场景的逆渲染问题，在光度一致性、几何细节与材质分解上显著优于此前方法。

  3. 《Exact Posterior Score Estimation for Solving Linear Inverse Problems》
    提出无需近似采样的精确后验得分估计方法，理论上克服了现有扩散求解器的高方差和偏差，为图像修复、超分等逆问题提供了更可靠的框架。

  4. 《ActiveSAM: Image-Conditional Class Pruning for Fast and Accurate Open-Vocabulary Segmentation》
    通过动态类别剪枝大幅加速开放词汇分割，在保持精度的同时将推理速度提升数倍，实用价值突出。

三、新兴研究方向与技术

  • 触觉驱动的灵巧操纵：T-Rex 和 ROVE 均强调从“视觉主导”转向“视触觉协同”或“人类示范+强化学习”，预示机器人操纵将更注重物理交互的鲁棒性。
  • 语言条件化的世界模型：Qwen-RobotWorld 和 DreamX-World 将语言指令嵌入视频生成，构建可交互的物理世界模拟器，有望成为具身智能的通用训练环境。
  • 分层强化学习与VLAs微调：Hierarchical Advantage Weighting 针对稀疏奖励场景，提出一种在线RL微调视觉-语言-动作模型的新范式，是数据效率提升的关键尝试。
  • 生成先验与物理模型的结合：BRDFusion 是“数据驱动+物理约束”的典型案例，这一趋势在场景理解、材质估计等领域将更加普遍。

四、建议全文阅读的论文

  1. T-Rex：对灵巧手和触觉感知方向的研究者必读，实验设计和算法框架极具参考价值。
  2. BRDFusion：关注逆渲染、城市重建或神经渲染的读者应仔细研读，其物理-生成协同思路可推广到其他逆向问题。
  3. Exact Posterior Score Estimation：对扩散模型理论或图像逆问题应用感兴趣的研究者，该论文提供了新的理论视角。
  4. ActiveSAM：若涉及开放词汇分割或需要高效分割模型的实际部署，本文的剪枝策略和实验分析非常实用。
  5. DreamX-World 1.0：作为通用交互式世界模型，代表了视觉+具身智能的前沿集成思路，值得关注其框架设计与能力边界。

Table of Contents

  1. T-Rex: Tactile-Reactive Dexterous Manipulation
  2. Human Universal Grasping
  3. Qwen-RobotWorld Technical Report: Unifying Embodied World Modeling through Language-Conditioned Video Generation
  4. BRDFusion: Physics Meets Generation for Urban Scene Inverse Rendering
  5. Exact Posterior Score Estimation for Solving Linear Inverse Problems
  6. Geometric Action Model for Robot Policy Learning
  7. Hierarchical Advantage Weighting for Online RL Fine-Tuning of VLAs from Sparse Episode Outcomes
  8. ROVE: Unlocking Human Interventions for Humanoid Manipulation via Reinforcement Learning
  9. ActiveSAM: Image-Conditional Class Pruning for Fast and Accurate Open-Vocabulary Segmentation
  10. DreamX-World 1.0: A General-Purpose Interactive World Model

Papers

T-Rex: Tactile-Reactive Dexterous Manipulation

Authors: Dantong Niu, Zhuoyang Liu, Zekai Wang, Boning Shao, Zhao-Heng Yin, Anirudh Pai, Yuvan Sharma, Stefano Saravalle, Ruijie Zheng, Jing Wang, Ryan Punamiya, Mengda Xu, Yuqi Xie, Yunfan Jiang, Letian Fu, Konstantinos Kallidromitis, Matteo Gioia, Junyi Zhang, Jiaxin Ge, Haiwen Feng, Fabio Galasso, Wei Zhan, David M. Chan, Yutong Bai, Roei Herzig, Jiahui Lei, Fei-Fei Li, Ken Goldberg, Jitendra Malik, Pieter Abbeel, Yuke Zhu, Danfei Xu, Jim, Fan, Trevor Darrell

Published: 2026-06-15

Categories: cs.RO

Abstract:

The ability to react dynamically to tactile signals has long been considered crucial to agile human-level dexterity. Yet contemporary learning-based Vision-Language-Action (VLA) models for robotic manipulation generally either overlook the tactile modality or are limited to encoders with static cues, due in part to the scarcity of diverse training data and standardized evaluation, architectural constraints in current VLA models, and limitations of static tactile encoders. In this paper, we push the frontier of tactile-reactive manipulation by addressing all of these limitations. We propose a large-scale, 100-hour tactile-rich dataset collected via a novel, data-efficient recipe that prioritizes elementary motor primitives. To effectively exploit naturally high-frequency touch signals without sacrificing the existing capabilities of existing VLAs, we introduce a variable-rate Mixture-of-Transformers (MoT) architecture equipped with a novel temporal tactile VQ-VAE encoder. We demonstrate the effectiveness of tactile-reactive policies on 12 manipulation tasks requiring delicate force control and deformable object manipulation, achieving over 30% higher average success rate than the strongest baseline.

Analysis:

1. 摘要翻译

敏捷的人类级灵活性依赖于对触觉信号的动态反应。然而，当前的机器人操作学习模型（VLA）往往忽略了触觉模态，或者受限于静态触觉编码器，这部分归因于缺乏多样的触觉训练数据、标准化评估缺失以及现有视觉-语言-动作（VLA）模型架构的限制。在本文中，我们推动了触觉响应式操作的前沿。我们提出了一个大规模的100小时触觉丰富数据集，通过一种优先考虑基本运动基元的、数据高效的方案进行收集。为了在不牺牲现有VLA能力的前提下有效利用高频触觉信号，我们引入了一种配备新型时空触觉VQ-VAE编码器的可变速率专家混合（MoT）架构。我们在12项需要精密力控和可变形物体操作的任务上验证了触觉响应策略的有效性，成功率比最强基线提高了30%以上。

2. 方法动机分析

  • 驱动力：实现机器人敏捷的操作能力，不仅需要视觉输入，更需要对高频触觉信号的即时闭环响应。
  • 现有痛点：
    • 数据匮乏：缺乏同步的视觉-触觉数据，导致预训练模型多为视觉主导。
    • 频率失配：传统的VLA模型在低频下运行，无法处理触觉控制所需的高频细粒度响应。
    • 架构局限：缺乏能够同时兼容通用视觉推理和高频触觉残差修正的统一架构。
  • 研究假设：通过“通用视觉优先预训练 + 触觉感知任务中训练（mid-training）”的范式，可以在不依赖海量多模态数据的情况下，将触觉响应能力“注入”到已有的基础模型中。

3. 方法设计详解

  • 流程总结：采用级联去噪策略，将动作生成解耦为两个阶段：
    1. 慢速流（Action Expert）：基于视觉-语言上下文，以约5Hz频率对动作进行低频去噪（生成粗略计划）。
    2. 快速流（Tactile Expert）：在低频计划基础上，以约20Hz频率使用实时触觉信号对动作进行高频残差修正（精细控制）。
  • 模型结构：
    • MoT架构：包含潜空间专家（预测未来视觉）、动作专家（低频计划）和触觉专家（高频精调）。
    • 时空触觉编码器：使用VQ-VAE压缩历史力序列，结合空间变形图，将高维原始触觉数据转化为紧凑的触觉Token。
  • 算法关键：采用了“级联去噪” Inference，即慢速流先计算出中间状态（KV cache），快速流通过Sub-chunk采样（子块采样）异步接收实时触觉Token并修正中间状态，确保控制的响应速度。

4. 方法对比分析

  • 本质区别：不同于传统的双系统独立架构，T-Rex实现了可变速率的级联控制，触觉精调是在视觉预测出的中间潜在表示上进行的，而非直接在原始动作空间进行简单的叠加。
  • 创新贡献：引入了异步混合专家架构（Asynchronous MoT），有效解决了视觉决策与触觉反馈的频率鸿沟。
  • 适用场景：适用于需要精细力感知、物体变形处理和复杂接触交互的 dexterous manipulation 任务。

5. 实验分析

  • 关键结论：T-Rex在12个接触密集任务中平均成功率比最强基线提高了30%。消融实验表明，异步触觉修正和时空触觉编码器的引入均对性能有显著贡献。
  • 优势：极高的数据效率（得益于mid-training recipe）和卓越的触觉响应速度。
  • 局限：对极长程、极高精度的任务仍存在由于行为克隆（BC）分布偏移导致的定位误差。

6. 实用指南

  • 开源情况：官方提供了代码仓库（https://tactile-rex.github.io/）。
  • 实现细节：
    • 数据：重点在于同步采集RGB、力传感器 wrench 和变形深度图。
    • 训练：采用三阶段训练策略，即大规模视觉预训练 -> 触觉感知Mid-training -> 任务特定微调。
  • 迁移可能：该架构可以轻松迁移至其他具备触觉传感器的灵巧手机器人上，只需调整VQ-VAE的输入维度和力传感器的投影层。

7. 总结

  • 核心思想：通过异步混合专家架构，解耦视觉决策与触觉残差修正。
  • 速记版pipeline：
    1. 视觉预训练获取通用先验。
    2. 慢速流生成低频动作意图。
    3. 触觉专家异步注入高频残差。
    4. 级联去噪实现闭环控制。

Key Findings:

  • We propose a large-scale, 100-hour tactile-rich dataset collected via a novel, data-efficient recipe that prioritizes elementary motor primitives.
  • To effectively exploit naturally high-frequency touch signals without sacrificing the existing capabilities of existing VLAs, we introduce a variable-rate Mixture-of-Transformers (MoT) architecture equipped with a novel temporal tactile VQ-VAE encoder.
  • We demonstrate the effectiveness of tactile-reactive policies on 12 manipulation tasks requiring delicate force control and deformable object manipulation, achieving over 30% higher average success rate than the strongest baseline.

Links:

Human Universal Grasping

Authors: Kevin Yuanbo Wu, Tianxing Zhou, Isaac Tu, Billy Yan, Irmak Guzey, David Fouhey, Dandan Shan, Lerrel Pinto

Published: 2026-06-15

Categories: cs.RO

Abstract:

Humans can grasp objects effortlessly, whereas multi-fingered robots are far from this level of generality. We argue that the most natural source of robot grasping data is from humans, who pick up thousands of objects every day. We present HUG, a flow-matching model that generates diverse human grasps for any user-specified object in a single RGB-D image captured from a stereo camera. Using smart glasses, we first collect 1M-HUGs, an egocentric dataset of human grasps spanning 1M frames (27.8 hrs) and 6,707 object instances across 41 buildings. Next, to model the distribution of natural human grasps, our novel flow-matching model fuses RGB and depth observations to output a grasp parameterized by wrist translation, wrist rotation, and MANO hand pose. Predicted grasps can be retargeted to various robot hands, enabling zero-shot grasping in everyday scenes. To standardize evaluation, we build a new simulated benchmark, HUG-Bench, of 90 unseen objects from five geometric categories and various sizes, with metric-scale 3D meshes. We evaluate HUG in the real world on the 30-object test set of HUG-Bench across multiple stereo cameras, robot embodiments, and household environments. HUG outperforms the state-of-the-art grasping baselines by +23% and +34% on our challenging object set. Code, data, benchmark, checkpoints, and an interactive demo are released on our website: https://grasping.io/

Analysis:

1. 摘要翻译

人类可以轻松抓取物体，但多指机器人离这种通用性还相去甚远。我们认为机器人抓取数据的最自然来源是人类，因为人类每天都在抓取成千上万的物体。我们提出了 HUG（Human Universal Grasping），这是一个流匹配模型，可以根据立体相机拍摄的单张 RGB-D 图像中用户指定的物体，生成多样化的人类抓取动作。利用智能眼镜，我们首先收集了 1M-HUGS，这是一个包含 100 万帧（27.8 小时）和 41 个建筑物中 6,707 个物体实例的以自我为中心的人类抓取数据集。接下来，为了建模自然人类抓取的分布，我们新颖的流匹配模型融合了 RGB 和深度观测，输出由手腕平移、手腕旋转和 MANO 手部姿态参数化的抓取动作。预测的抓取动作可以重定向到各种机器人手，从而在日常场景中实现零样本（zero-shot）抓取。为了标准化评估，我们构建了一个包含 90 个未见物体、具有度量尺度 3D 网格的新型模拟基准 HUG-BENCH。我们在 HUG-BENCH 的 30 个物体测试集上，跨多个立体相机、机器人实体和家庭环境进行了现实世界评估。HUG 在挑战性物体集上的表现优于最先进的抓取基线，成功率提升了 +23% 和 +34%。

2. 方法动机分析

  • 驱动力：解决机器人灵巧抓取数据匮乏的难题，利用人类日常海量且自然的抓取经验作为先验。
  • 痛点：现有模拟生成数据存在“模拟-现实差距”（sim-to-real gap），且通常需要针对特定机器人手重新训练；通过遥操作采集数据则费时费力且覆盖面受限。
  • 研究假设：通过以自我视角采集的人类自然抓取数据训练流匹配模型，可以直接学习到符合物理规律和人类习惯的通用抓取策略，并能通过几何映射（重定向）泛化至不同机器人手。

3. 方法设计详解

  • 流程总结：
    1. 数据采集：佩戴 Aria Gen 2 眼镜在日常环境中记录抓取过程，结合视觉语言模型和 SAM3 进行自动标记。
    2. 数据处理：通过 aria2mano 将原始手部轨迹拟合为参数化的 MANO 模型，过滤筛选出高质量的抓取帧。
    3. 模型推理：输入 RGB-D 图像和物体表面一点，利用 DINOv2 提取 RGB 特征，结合经过点云采样和 Fourier 编码的几何特征。
    4. 抓取生成：使用流匹配（Flow-matching）Transformer 根据输入预测 MANO 手部姿态（手腕位姿 + 15 关节旋转）。
    5. 执行重定向：将 MANO 姿态根据目标机器人的手部几何比例进行固定偏移映射，实现零样本执行。
  • 关键模块：
    • RGB-PC Fusion Transformer：采用“点画法”（point painting），将点云特征投影至 RGB 图像进行融合，确保了语义与几何信息的强耦合。
    • Flow Transformer：利用 DiT (Diffusion Transformer) 架构处理抓取状态，通过 AdaLN-Zero 实现条件调制。
  • 算法核心：采用基于几何监督（3D 损失）和 velocity-prediction MSE 的流匹配训练，集中在“近目标”轨迹段，有效缓解了生成的多样性与精度平衡问题。

4. 方法对比分析

  • 本质区别：不依赖任何机器人端的交互数据，纯粹通过人类演示实现跨实体零样本迁移。
  • 创新点：
    1. 引入 1M-HUGS 大规模以自我视角数据集。
    2. 首创将流匹配模型应用于 Dexterous Grasping 领域。
    3. 证明了“点画法”在融合视觉与 3D 点云特征以提升抓取精度上的重要性。
  • 适用场景：适用于各类多指灵巧手，特别是在未知家庭环境、多样化物体抓取任务中表现突出。

5. 实验分析

  • 关键结论：在 HUG-BENCH 测试集上，HUG 取得了 66.7% 的真实场景成功率，远超基线。
  • 主要优势：极强的泛化能力（跨相机、跨机器人、跨环境），对大型、异形、重型物体有显著的抓取优势。
  • 主要局限：目前仅支持单手抓取，对极小物体精度受限于图像分辨率，且 open-loop 策略缺乏闭环视觉反馈，物体移位或过大时易失败。

6. 实用指南

  • 开源情况：代码、数据集、基准测试及模型检查点均已在 https://grasping.io 发布。
  • 实现细节：数据清洗中 3D 损失（Eq. 1）极其关键，移除会导致成功率暴跌；训练时注意使用 aria2mano 进行标准化的 MANO 拟合。
  • 迁移可能：该框架可直接用于开发新型机器人手配置，只需确定新的重定向偏移参数，无需重新训练抓取模型。

7. 总结

  • 核心思想：利用人类以自我视角的自然抓取视频流，训练通用的 Dexterous 抓取生成模型。
  • 速记版pipeline：
    1. 戴眼镜记录日常抓取；
    2. 自动筛选并拟合 MANO 手模型；
    3. 训练流匹配模型预测抓取姿态；
    4. 映射到机器人手零样本执行。

Key Findings:

  • We present HUG, a flow-matching model that generates diverse human grasps for any user-specified object in a single RGB-D image captured from a stereo camera.
  • Next, to model the distribution of natural human grasps, our novel flow-matching model fuses RGB and depth observations to output a grasp parameterized by wrist translation, wrist rotation, and MANO hand pose.
  • To standardize evaluation, we build a new simulated benchmark, HUG-Bench, of 90 unseen objects from five geometric categories and various sizes, with metric-scale 3D meshes.
  • HUG outperforms the state-of-the-art grasping baselines by +23% and +34% on our challenging object set.

Links:

Qwen-RobotWorld Technical Report: Unifying Embodied World Modeling through Language-Conditioned Video Generation

Authors: Jie Zhang, Xiaoyue Chen, Anzhe Chen, Chenxu Lv, Deqing Li, Gengze Zhou, Hang Yin, Haoqi Yuan, Haoyang Li, Jiahao Li, Jiazhao Zhang, Jingren Zhou, Kaiyuan Gao, Kun Yan, Lihan Jiang, Ningyuan Tang, Pei Lin, Qihang Peng, Shengming Yin, Tianhe Wu, Tianyi Yan, Xiao Xu, Yan Shu, Yanran Zhang, Ye Wang, Yi Wang, Yilei Chen, Yixian Xu, Yiyang Huang, Yuxiang Chen, Zekai Zhang, Zhendong Wang, Zhixing Lei, Zhixuan Liang, Zihao Liu, Zikai Zhou, Xiong-Hui Chen, Chenfei Wu

Published: 2026-06-15

Categories: cs.CV

Abstract:

We introduce Qwen-RobotWorld, a language-conditioned video world model for embodied intelligence. With natural language as a unified action interface, it predicts physically grounded future visual trajectories from current observations across robotic manipulation, autonomous driving, indoor navigation, and human-to-robot transfer. This unified formulation provides three promising application directions: synthetic data generation for policy training augmentation, scalable virtual environments for policy evaluation, and language-guided planning signals for downstream robot control. This is achieved through a three-part design: a) Double-Stream MMDiT with MLLM Action Encoding, where a 60-layer double-stream diffusion transformer couples frozen Qwen2.5-VL semantics with video-VAE latents through layer-wise joint attention; b) Embodied World Knowledge (EWK), an 8.6M video-text corpus (200M+ frames) with action-language mapping over 20+ embodiments and 500+ action categories; and c) General+Expert Progressive Curriculum, a two-stage training strategy that first learns general visual priors and then injects embodied specialization under a shared language interface. Extensive results show strong competitiveness: ranks 1st overall on EWMBench and DreamGen Bench, outperforms all open-source models on WorldModelBench and PBench. Additional zero-shot analyses on RoboTwin-IF benchmark further support robust generalization and multi-view consistency.

Analysis:

1. 摘要翻译

我们引入了 QWEN-ROBOTWORLD，这是一个用于具身智能的语言条件化视频世界模型。通过将自然语言作为统一的动作接口，它能够预测跨机器人操作、自动驾驶、室内导航和人机迁移等场景下，具有物理真实性的未来视觉轨迹。这种统一的公式为具身研究提供了三个方向：策略训练的合成数据生成、策略评估的虚拟环境以及下游机器人控制的语言引导规划信号。这一成果通过三部分设计实现：a) 双流 MMDiT 与 MLLM 动作编码，利用 60 层双流扩散 Transformer 将冻结的 Qwen2.5-VL 语义与视频 VAE 潜变量在层级联合注意力中耦合；b) 具身世界知识（EWK）数据集，包含 8.6M 个视频-文本对（200M+ 帧），覆盖 20+ 种机器人形态和 500+ 动作类别；c) 通用+专家渐进式课程，通过两阶段训练策略，先学习通用视觉先验，再在共享语言接口下注入具身专业知识。广泛的实验表明，该模型在 EWM-Bench 和 DreamGen Bench 上均排名第一，并超越了 WorldModelBench 和 PBench 上的所有开源模型。

2. 方法动机分析

  • 驱动力：旨在打破当前世界模型在不同物理形态（如机械臂、自动驾驶车辆）之间“各自为政”的局面，实现一种具备跨场景、跨形态普适性的“通用具身仿真主干”。
  • 现有痛点：通用视频模型缺乏对具身物理规律（接触动力学、结构约束）的精确理解；而特定领域模型（Domain-specific）高度依赖特定机器人的控制接口（如关节角度），导致无法在不同embodiment之间泛化。
  • 研究假设：通过将多模态大模型（MLLM）作为语义理解锚点，并结合大规模多形态视频数据训练，可以构建一个具备“语义常识”的统一仿真世界，从而通过语言指令直接约束物理轨迹预测。

3. 方法设计详解

  • pipeline 概览：
    1. 动作编码（MLLM Encoder）：使用冻结的 Qwen2.5-VL 处理自然语言指令（如“拿起杯子”），提取深层语义作为条件信号。
    2. 状态编码（VAE）：将视觉观察帧转化为 VAE 潜空间表示。
    3. 双流扩散 Transformer（MMDiT）：
      • 理解流（Understanding Stream）：处理来自 MLLM 的语义编码。
      • 生成流（Generation Stream）：处理视觉 VAE 潜变量。
      • 联合注意力（Joint Attention）：在每一层进行双流交互，确保视觉预测在物理上受到语言指令的约束。
    4. Scene2Robot 机制：采用多段输入（场景上下文 + 机器人参考轨迹 + 噪声），实现无需架构修改的跨形态任务编辑。
  • 算法核心：利用 3D Rotary Position Encoding (3D RoPE) 对时间、高度和宽度进行非对称位置编码，确保模型在处理不同空间布局和时间跨度时具有几何一致性。

4. 方法对比分析

  • 本质区别：与仅将语言作为简单 prompt 不同，该方法将语言彻底视为“动作接口（Action Interface）”，在模型架构中通过双流 MMDiT 将语义嵌入到生成过程的每一个维度。
  • 创新贡献：
    • EWK 数据集：大规模标准化了 20+ 机器人形态的动作映射。
    • 层次化标注：提出了五层标注框架，涵盖从意图到物理反馈的全过程，显著提升了模型对动作因果关系的理解。
    • 通用+专家课程：不仅关注视觉生成，还强制模型学习“接触物理”和“形态学一致性”。

5. 实验分析（精简版）

  • 验证：在 EWMBench、DreamGen Bench、PBench 及 WorldModelBench 四大基准上进行对比。
  • 结论：在 EWMBench 的运动保真度（HSD）和逻辑约束满意度（Logics）上表现卓越，展现了优于 LVP 等现有模型的物理推理能力。
  • 不足：审美质量（Aesthetic quality）和成像质量在某些标准视觉指标上略低于通用视频生成模型，这是由于该模型将参数分配给了更难的“具身物理动态”任务。

6. 实用指南

  • 实现细节：
    • 数据预处理：关键在于“动作-语言映射”，需确保所有形态的动作都对齐到统一语言指令下。
    • 训练策略：使用 Megatron-LM 进行混合并行训练，并在双流块上使用选择性激活重计算（Selective activation recomputation）以节省显存。
  • 迁移建议：该模型架构非常适合需要将视觉模型作为仿真背景的具身任务，尤其是当任务需要跨平台（如从模拟器到真实机器人）迁移时。

7. 总结

  • 核心思想：语言驱动的双流 Transformer 具身仿真主干。
  • 速记版 pipeline：
    1. 统一语言指令与各平台动作。
    2. 双流架构解耦语义与视觉动态。
    3. 联合注意力层实现指令到物理轨迹的对齐。
    4. 通过多视角训练确保空间一致性。

Key Findings:

  • We introduce Qwen-RobotWorld, a language-conditioned video world model for embodied intelligence.
  • Extensive results show strong competitiveness: ranks 1st overall on EWMBench and DreamGen Bench, outperforms all open-source models on WorldModelBench and PBench.

Links:

BRDFusion: Physics Meets Generation for Urban Scene Inverse Rendering

Authors: Yi-Ruei Liu, Jie-Ying Lee, Zheng-Hui Huang, Yu-Lun Liu, Chih-Hao Lin

Published: 2026-06-15

Categories: cs.CV

Abstract:

Inverse rendering of urban scenes from captured videos enables numerous applications, including content creation and autonomous driving simulation. Physically-based rendering methods follow and control lighting physics, but suffer from reconstruction and rendering artifacts. While generative models produce realistic videos, they offer limited consistency and controllability. We present BRDFusion, a unified framework that combines two complementary models for inverse and forward rendering. Specifically, BRDFusion recovers explicit, consistent scene properties with physical modeling and alleviates optimization ambiguity with generative priors. During forward rendering, the physical model provides controllable rendering from the scene configuration, and the generative model denoises and fixes artifacts. Therefore, our method produces high-quality videos while allowing precise control, outperforming baselines in real and synthetic scenes. Moreover, BRDFusion supports novel-view relighting, night simulation, and dynamic object insertion/editing. Project page: https://shigon255.github.io/brdfusion-page/

Analysis:

作为计算机视觉与机器学习领域的专家，我对 BRDFusion 这篇论文的分析如下：

1. 核心贡献总结

BRDFusion 提出了一种统一的逆渲染框架，巧妙地结合了基于物理的渲染（PBR）的可控性与生成式模型的高保真度。该方法通过引入生成式先验来解决传统逆渲染中几何与材质恢复的歧义性，同时利用物理模型支撑多视角重光照及动态场景编辑，实现了在保持物理一致性的前提下生成高质量的城市场景视频。

2. 关键创新与方法论

  • 物理与生成的深度融合： 论文打破了“物理建模 vs. 生成式模型”的二元对立。在逆渲染阶段，利用生成式模型作为先验（Prior）来约束物理属性（如BRDF材质、照明）的估计，解决了传统优化中常见的“光照-反射-几何”解耦困难。
  • 双阶段协同渲染：
    • Forward Rendering（前向渲染）： 物理模型负责提供基础的渲染结果（保证可控性和逻辑一致性）。
    • Denoising & Refinement（去噪与修正）： generative 模型（生成式模型）作为后处理或修正组件，负责弥补物理渲染中常见的伪影（artifacts）和细节缺失，从而提升视觉质量。
  • 多任务兼容性： 该框架不仅支持逆渲染，还具备了闭环的可控性，能够处理 novel-view synthesis（新视角合成）、重光照（relighting）及对象插入等复杂编辑任务。

3. 对领域的潜在影响

  • 范式转换： 该工作标志着计算机视觉正从“纯数据驱动”向“物理感知驱动的生成式 AI”转型。它验证了在复杂的城市场景中，将物理定律作为约束（Constraint）而非完全的拟合目标，是提升三维重建质量的最优路径。
  • 工业界价值： 该框架将极大降低自动驾驶模拟、城市规划仿真及数字孪生场景的制作成本，使开发者能够仅通过真实视频数据生成高拟真度的仿真环境。

4. 相关的受益领域与应用

  • 自动驾驶与机器人： 生成极端的城市天气环境（如夜晚、雨雪）和动态交通场景，用于增强自动驾驶模型的训练集。
  • 元宇宙与影视后期： 支持对真实场景拍摄的视频进行物理级别的重光照和动态物体插入，无需复杂的传统三维建模工作流。
  • 增强现实（AR）： 在 AR 设备中实现真实世界与虚拟物体的物理一致性光照融合。

5. 可推断的潜在局限性

  • 计算开销与延迟： 由于框架同时运行物理渲染引擎和生成式模型，其推断速度可能难以达到实时（Real-time）要求，主要面向离线编辑或仿真生成任务。
  • 对先验的依赖： 若生成式模型训练的先验分布与特定城市场景存在偏差（如罕见建筑结构），可能会导致物理属性估计出现非物理的扭曲，从而违背“物理”的初衷。
  • 动态场景的复杂性： 尽管支持动态物体插入，但对于复杂场景中物体间的遮挡处理（Occlusion）及阴影投射（Shadow Casting），物理模型与生成模型在时序上的一致性（Temporal Consistency）仍是极大的挑战。

专家点评： BRDFusion 的有趣之处在于它没有试图用生成模型彻底取代物理渲染，而是将生成模型置于“纠偏者”的角色。这种**“物理打底，AI 润色”**的思路，是在当前生成式 AI 浪潮下解决三维场景重建中“真实性与可控性不可兼得”难题的一条可行路径。

Key Findings:

  • We present BRDFusion, a unified framework that combines two complementary models for inverse and forward rendering.
  • Therefore, our method produces high-quality videos while allowing precise control, outperforming baselines in real and synthetic scenes.
  • Moreover, BRDFusion supports novel-view relighting, night simulation, and dynamic object insertion/editing.

Links:

Exact Posterior Score Estimation for Solving Linear Inverse Problems

Authors: Abbas Mammadov, Ozgur Kara, Kaan Oktay, Iskander Azangulov, Adil Kaan Akan, Hyungjin Chung, James Matthew Rehg, Yee Whye Teh

Published: 2026-06-15

Categories: cs.LG, cs.CV, stat.ML

Abstract:

Diffusion and flow-based models learn powerful data priors by training a denoiser to reverse Gaussian corruption. To use this prior to solve a linear inverse problem, one needs to sample from the posterior, but the score that the prior provides is the unconditional score, not the posterior score. Existing methods either steer a fixed pretrained denoiser with approximate measurement-matching corrections, or train a conditional restoration model that abandons the denoising structure of the prior. We derive the exact posterior score in closed form for linear Gaussian inverse problems under general Gaussian interpolants, and show that posterior sampling reduces to a denoising problem at an operator-dependent shifted pivot under an anisotropic noise covariance. We turn this identity into Exact Posterior Score (EPS), a denoising training objective that preserves the input/output structure of standard pretraining and can therefore be trained from scratch or fine-tuned from a pretrained denoiser. At inference, EPS uses the same sampler as the underlying backbone, with no likelihood gradients or projections. We evaluate EPS on five linear inverse problems across FFHQ and ImageNet, where it outperforms training-free and training-based baselines on fidelity, perceptual, and distributional metrics, while using roughly an order of magnitude fewer denoiser evaluations than gradient-based posterior samplers.

Analysis:

1. 摘要翻译

扩散模型和流模型通过学习逆转高斯噪声来学习强大的数据先验。然而，利用这些模型求解线性逆问题时，现有的后验采样方法存在瓶颈：要么在固定预训练去噪器上进行近似的测量匹配校正，要么训练一个放弃了去噪结构的条件生成模型。本文推导了线性高斯逆问题下通用的闭式精确后验得分（Exact Posterior Score, EPS）。我们证明后验采样等价于在依赖于算子的偏移枢轴（shifted pivot）点，且受各向异性噪声协方差影响的去噪问题。EPS 将此恒等式转化为去噪训练目标，能够保留预训练去噪器的输入/输出结构，既可从头训练也可通过微调获得。推理时，EPS 复用底层采样器，无需似然梯度或投影。实验表明，EPS 在多种逆问题上均优于现有的训练前和训练后基线，且采样开销显著更低。

2. 方法动机分析

  • 痛点：现有的后验采样（如DPS）依赖于对得分函数的近似（即在每个反向步骤计算似然函数的梯度），这种近似引入了显著偏置，导致重建过平滑或产生幻觉。训练型条件模型（如Palette）则完全摒弃了预训练去噪器的去噪结构，难以有效利用大型预训练模型的强先验。
  • 核心洞察（研究假设）：线性高斯逆问题的后验得分具有闭式解。作者发现，后验采样依然是一个去噪过程，但不是在原始的各向同性噪声下进行，而是在一个由观测 $y$ 偏移的“枢轴”点（pivot）上，且需针对由算子决定的各向异性协方差进行去噪。

3. 方法设计详解

  • 流程总结：
    1. 枢轴构造：计算后验枢轴 $\mu_\star$。它是当前扩散状态 $x_t$ 与观测 $y$ 的贝叶斯加权融合结果，其闭式表达式为：$\mu_\star = \Sigma_\star (\frac{\alpha_t}{\beta_t^2} x_t + \frac{1}{\sigma_y^2} A^\top y)$。
    2. 协方差修正：基于算子 $A$ 和观测噪声 $\sigma_y$，计算各向异性协方差 $\Sigma_\star(t) = (\frac{\alpha_t^2}{\beta_t^2} I + \frac{1}{\sigma_y^2} A^\top A)^{-1}$。
    3. 去噪训练：训练一个去噪网络 $D_\theta(\mu_\star, y, t)$，直接拟合干净图像 $x_0$。
    4. 推理采样：推理时，直接调用预训练好的扩散采样器，仅需将输入的 $x_t$ 替换为动态计算的枢轴 $\mu_\star$。
  • 关键技术：利用 Tweedie 恒等式的各向异性推广，将条件采样转化为对“算子特定结构”的拟合，从而在不修改采样器逻辑的前提下实现精确后验采样。

4. 方法对比分析

  • 本质区别：与现有依赖“导数/梯度”的非平稳求解法不同，EPS 将逆问题的影响“内化”到去噪器的输入枢轴中。
  • 创新贡献：首次推导出线性高斯逆问题的精确后验得分，并提出了一种通过输入变换（枢轴构造）来适配各种逆问题的通用架构，实现了采样效率与重建质量的均衡。
  • 适用场景：已知线性算子 $A$ 的逆问题（如图像恢复、超分、去模糊）。

5. 实验分析

  • 结论：EPS 在 FFHQ 和 ImageNet 数据集上的五项典型逆问题中，在 PSNR、FID 等指标上均优于各主流基线。
  • 优势：
    • 效率极高：收敛速度远快于其他训练型方法，推理时无额外的梯度计算或投影步骤。
    • 质量优异：通过精确的各向异性去噪保留了更多细微结构。
  • 局限：目前的精确闭式解仅限于线性算子和高斯噪声；非线性算子需要局部线性化近似。

6. 实用指南

  • 开源/复现：作者承诺开源所有代码及 fine-tuned 检查点。
  • 实现细节：对于复杂算子（如 $A$ 非对角化），可利用 FFT 或共轭梯度法计算 $\mu_\star$，仅增加毫秒级耗时。
  • 迁移性：该方法可以轻松迁移到任何现有的预训练扩散模型上，只需针对特定任务微调去噪器输入层的特征映射即可，无需修改模型主体或推理采样策略。

7. 总结

  • 核心思想：通过输入空间变换，将后验采样等价转化为各向异性去噪问题。
  • 速记版pipeline：
    1. 将观测 $y$ 和算子 $A$ 融入输入枢轴；
    2. 训练模型学会该几何下的去噪映射；
    3. 直接使用原采样器进行推理；
    4. 实现精确采样且无额外算力开销。

Key Findings:

  • We evaluate EPS on five linear inverse problems across FFHQ and ImageNet, where it outperforms training-free and training-based baselines on fidelity, perceptual, and distributional metrics, while using roughly an order of magnitude fewer denoiser evaluations than gradient-based posterior samplers.

Links:

Geometric Action Model for Robot Policy Learning

Authors: Jisang Han, Seonghu Jeon, Jaewoo Jung, René Zurbrügg, Honggyu An, Tifanny Portela, Marco Hutter, Marc Pollefeys, Seungryong Kim, Sunghwan Hong

Published: 2026-06-15

Categories: cs.RO, cs.CV, cs.LG

Abstract:

Generalist robot policies must follow user instructions while reasoning about how objects, cameras, and robot actions interact in the 3D physical world. Recent vision-language-action models (VLAs) and video world-action models (WAMs) inherit strong semantic or temporal priors from large-scale foundation models, but they still operate primarily on 2D image frames or 2D-derived latent spaces, leaving implicit the 3D geometry required for contact-rich manipulation. We propose the Geometric Action Model (GAM), a language-conditioned manipulation policy that directly repurposes a pretrained geometric foundation model (GFM) as a shared substrate for perception, temporal prediction, and action decoding. GAM splits the GFM at an intermediate layer: the shallow layers serve as an observation encoder, and a causal future predictor inserted at the split layer forecasts future latent tokens conditioned on language, proprioception, and action history. The predicted future tokens are then routed through the remaining GFM blocks for feature propagation and decoding, allowing a single backbone to produce both future geometry and actions. This design equips the GFM with language-conditioned temporal world modeling through minimal architectural modification while preserving its rich geometric priors. Across a broad suite of simulation and real-robot manipulation benchmarks, GAM is more accurate, more robust, faster, and lighter than current foundation-model-scale baselines.

Analysis:

1. 摘要翻译

通用机器人策略不仅需要遵循用户指令，还要理解物体、相机和机器人动作如何在3D物理世界中交互。目前的视觉-语言-动作模型（VLA）和视频世界-动作模型（WAM）主要在2D图像帧或其衍生空间中操作，缺乏触觉丰富操纵任务所需的3D几何先验。我们提出了几何动作模型（GAM），这是一种语言条件下的操作策略，它直接将预训练的几何基础模型（GFM）转化为共享的感知、时序预测和动作解码基底。GAM将GFM分为浅层（观测编码器）和深层（解码块），并在中间层插入因果未来预测器。该预测器基于语言、本体感受和动作历史预测未来潜空间标记，随后通过GFM深层模块解码，从而在单一主干中同时生成未来几何和动作。该设计在保持GFM丰富几何先验的同时，实现了最小架构修改下的时序世界建模。在模拟和真实机器人基准测试中，GAM表现出比现有基线更优的准确性、鲁棒性、速度和更轻量化的模型规模。

2. 方法动机分析

  • 驱动力：旨在克服现有VLA/WAM模型对3D几何理解的缺失，实现更稳健的机器人操纵。
  • 痛点：现有方法将3D线索（深度、尺度、遮挡）视为隐式特征，导致动作解码器难以处理环境变化（如相机视角变换），导致鲁棒性差。
  • 研究假设：通过在GFM的潜空间中直接进行联合动作与未来场景状态的预测，可以将3D几何世界的动态特性天然地纳入动作生成流程。

3. 方法设计详解

  • 流程总结：
    1. 观测编码：利用GFM浅层对多视图RGB输入进行编码，提取几何特征。
    2. 时序预测（关键创新）：在中间层 $L_s$ 插入因果Transformer，融合语言、本体感受、动作历史与当前几何特征，预测下一步的潜空间几何特征。
    3. 特征传播与解码：将预测的未来特征标记与动作标记一起传入GFM深层模块。最后通过动作回归头输出动作，通过原GFM深度头输出未来深度图。
  • 模型结构：共享主干设计，仅在中间增加一个因果预测器，极大减少了训练参数负担。
  • 算法解释：引入了辅助的未来特征损失（$L_{\text{feat}}$）和深度损失（$L_{\text{depth}}$），强制模型在预测下一步动作时，同时在几何空间中“幻象”出下一步的物理结构。

4. 方法对比分析

  • 本质区别：不再将GFM视为静态特征提取器或辅助模块，而是将其整个Transformer结构作为处理时序决策的核心引擎。
  • 创新贡献：提出了一种在单一主干中联合动作预测与3D几何预测的架构，实现了“以几何理解指导动作执行”。
  • 适用场景：需要高度场景理解、面临多视角切换或动态环境变化的操纵任务。

5. 实验分析

  • 验证方法：在LIBERO及LIBERO-Plus（包含相机、光照等干扰项）进行基准测试，并开展真实机器人实验。
  • 关键结果：在相机干扰任务上性能提升9.7%p，推理速度达145Hz，相比基于扩散模型的方法（Cosmos-Policy）速度快55倍。
  • 主要优势：不仅性能领先，且实现了极低的推理延迟，适合实时控制。
  • 主要局限：对语言的理解深度受限于冻结的预训练文本编码器。

6. 实用指南

  • 开源情况：项目官网。
  • 训练细节：需冻结部分浅层参数，重点训练中间的因果预测器和头部分，建议使用AdamW优化器，保持 $H=1$ 的上下文窗口以减少因果混淆。
  • 迁移可能：该架构适合任何具备3D预测能力的基础模型，更换GFM主干（如DA3-Giant）即可直接迁移到视觉感知要求更高的任务。

7. 总结

  • 核心思想：利用GFM的3D先验，在潜空间中联合预测几何演化与机器人动作。
  • 速记版pipeline：
    1. 冻结GFM浅层提取场景特征。
    2. 中间层预测未来几何与动作标记。
    3. 通过GFM深层完成联合解码与对齐。

Key Findings:

  • We propose the Geometric Action Model (GAM), a language-conditioned manipulation policy that directly repurposes a pretrained geometric foundation model (GFM) as a shared substrate for perception, temporal prediction, and action decoding.

Links:

Hierarchical Advantage Weighting for Online RL Fine-Tuning of VLAs from Sparse Episode Outcomes

Authors: Tongyan Fang, Siyuan Huang, Naiyu Fang, Ganlong Zhao, Zhongjin Luo, Jianbo Liu, Xiaogang Wang, Ying Dong, Hongsheng Li

Published: 2026-06-15

Categories: cs.RO, cs.LG

Abstract:

When pretrained VLA policies are fine-tuned through online RL, each rollout episode produces only a single binary outcome (success or failure), yet the actor update requires per-transition supervision. Existing approaches commonly reduce this sparse outcome to a single scalar reward or advantage signal, which conflates distinct forms of transition-level feedback and provides limited guidance once basic task success becomes achievable. First, a single scalar signal conflates the two objectives of viability and efficiency; once basic success is achieved, the binary label provides no gradient to distinguish efficient completions from slow ones. Second, real-world rollouts mix autonomous and intervention segments; naively assigning episode outcomes across these boundaries introduces incorrect credit assignment. To address these issues, we propose Hierarchical Advantage-Weighted Behavior Cloning (HABC), which trains separate critic heads for these two objectives on different data subsets and combines their outputs with a state-adaptive balance. A state-adaptive gate $g_t$ merges their one-step advantages, prioritizing viability when success is uncertain and shifting to efficiency only when viability is high, and converts the result into per-transition weights on the actor loss. Intervention-aware credit assignment further restricts outcome labels to segments executed by the current policy, preventing supervision from leaking across intervention boundaries. In real-robot experiments on three contact-rich bimanual tasks, HABC raises success from supervised fine-tuning (SFT) baselines of 36%, 44%, and 12% to 92%, 88%, and 38%.

Analysis:

1. 摘要翻译

当预训练的视觉-语言-动作（VLA）策略通过在线强化学习（RL）进行微调时，每个回放片段仅产生一个二元结果（成功或失败），但动作更新需要逐步（per-transition）的监督。现有方法通常将这种稀疏结果简化为单一的标量奖励或优势信号，这混淆了不同形式的反馈，且在任务成功变得可行后，无法提供区分高效与低效完成任务的梯度。本文提出了“分层优势加权行为克隆”（HABC），通过双头判别器训练，分别估计可行性（viability）和效率（efficiency），并通过状态自适应门控机制将两者结合。此外，我们提出了“干预感知信用分配”，限制了将结果标签仅分配给由当前策略执行的片段，防止监督信息跨越干预边界泄漏。在三项接触密集型双臂任务的实机实验中，HABC将SFT基线的成功率分别从36%、44%和12%提升至92%、88%和38%。

2. 方法动机分析

  • 驱动力：解决在线RL微调中，稀疏的二元 episode 结果无法为策略提供细粒度、多维度训练信号的问题。
  • 痛点：
    1. 信号混淆：单一奖励信号无法区分“任务是否可行”与“任务执行是否高效”。
    2. 信用分配谬误：混合控制（策略+人工干预）场景下，错误的信用分配会导致策略学习到人为纠正后的“错误经验”。
  • 研究假设：稀疏的 episode 结果隐含了两个独立的维度：可行性（是否能完成任务）和效率（完成任务的速度）。只要能将这两者解耦，并结合干预感知的信用分配，就能大幅提升微调效果。

3. 方法设计详解

  • 核心 pipeline：
    1. 数据分组：将完整 episode 按控制权限划分为策略执行片段和人工干预片段。
    2. 双头 Critic 架构：
      • 可行性头 ($V_v$)：基于所有有标签的策略执行片段，利用二元交叉熵损失训练，用于识别当前状态是否导向成功。
      • 效率头 ($V_e$)：仅基于成功路径，通过时序差分（TD）目标训练，用于衡量进度优劣。
    3. 状态自适应门控 ($g_t$)：结合 $A_v$（可行性优势）和 $A_e$（效率优势），逻辑为：$g_t = 1 + \tanh((1-p_v)A_v + p_v A_e)$。当可行性低时，优先优化可行性；当可行性高时，重点优化效率。
    4. 加权行为克隆：利用归一化后的 $g_t$ 对流匹配（flow-matching）损失函数进行加权。
  • 算法解释：
    • $g_t$ 的设计实现了从“先学稳（可行性）”到“后学好（效率）”的平滑过渡，不需要额外设计课程表。
    • 干预感知确保了只有策略自己走出来的路才会被评价，避免了策略“依赖”人工干预。

4. 方法对比分析

  • 本质区别：与仅使用标量奖励（如RL）或硬阈值过滤（如Recap）不同，HABC通过学习双维度价值函数来软加权，并结合了领域内细粒度的控制边界约束。
  • 创新贡献：提出可行性与效率的层次化分解，并创新性地将干预数据作为监督边界，既保留了人工纠正的示范价值，又规避了错误的信用分配。
  • 适用场景：适用于需要在线微调的长程、多阶段机器人操作任务，尤其是在经常需要人工介入的场景。

5. 实验分析（精简版）

  • 结论：在三种接触密集型任务中，HABC显著优于基线（成功率接近翻倍）。
  • 优势：软加权机制比硬阈值过滤更充分地利用了数据；干预边界划分有效解决了“依赖干预”的负面效应。
  • 局限：目前仅限于单任务微调，且严重依赖对干预边界的准确探测。

6. 实用指南

  • 开源情况：已开源代码与实验数据（参考页面底部链接）。
  • 实现建议：
    • 关键参数：$N_{wu}$（预热步数，确保 critic 头初步校准），$C=100$（失败惩罚）。
    • 迁移：核心是“双头Critic+门控+干预边界识别”。迁移至其他任务时，应重点构建适合该任务的策略/干预分割逻辑。

7. 总结

  • 核心思想：通过解耦可行性与效率信号，实现自适应的在线策略微调。
  • 速记版pipeline：
    1. 将操作轨迹按控制权限拆分为不同片段；
    2. 用两个判别器分别学习成功概率和任务进度；
    3. 根据当前任务可行性动态加权动作损失；
    4. 仅对策略自主执行片段进行奖励回传，避免干扰。

Key Findings:

  • To address these issues, we propose Hierarchical Advantage-Weighted Behavior Cloning (HABC), which trains separate critic heads for these two objectives on different data subsets and combines their outputs with a state-adaptive balance.

Links:

ROVE: Unlocking Human Interventions for Humanoid Manipulation via Reinforcement Learning

Authors: Wei Xiao, Weiliang Tang, Yuying Ge, Hui Zhou, Yao Mu, Li Zhang, Yixiao Ge

Published: 2026-06-15

Categories: cs.RO, cs.LG

Abstract:

Human interventions provide crucial corrective signals for post-training Vision-Language-Action (VLA) models. However, enabling seamless humanoid interventions is a formidable systems challenge due to complex whole-body kinematics and dexterous-hand control. Consequently, the collected intervention trajectories are often suboptimal, and methods that rely on human interventions as expert supervision can absorb hesitant, inefficient, or even erroneous behaviors. To address both the system and algorithmic challenges, we propose ROVE, a reinforcement learning framework for humanoid VLA post-training with imperfect human interventions. First, ROVE introduces a human-in-the-loop pipeline capable of collecting deployment and intervention data for humanoid manipulation. Second, it utilizes Optimistic Value Estimation (OVE) to prioritize high-value behaviors from mixed-quality trajectories. To further robustify value estimation, we incorporate cross-embodiment human experience videos to provide rich supervision for long-tailed failure and recovery modes. The resulting critic yields informative advantage signals, steering the VLA actor to focus on high-value behaviors rather than indiscriminately imitating all actions. On challenging real-world contact-rich and fine-grained humanoid manipulation tasks, ROVE outperforms experience-learning baselines and consistently improves across multiple rollout-intervention iterations.

Analysis:

作为计算机视觉与机器学习领域的专家，我对这篇论文的分析如下：

1. 主要贡献总结

该论文提出了 ROVE 框架，旨在解决人形机器人（Humanoid）在复杂全身控制和灵巧手操作中，因人类干预数据质量参差不齐而导致模型性能受限的问题。通过结合强化学习与人类闭环干预流程，该框架能够从包含低效甚至错误行为的干预轨迹中提取出高价值的决策策略，实现了 VLA（视觉-语言-动作）模型的有效后训练提升。

2. 关键创新与方法论

  • 人类闭环干预流水线 (Human-in-the-loop Pipeline)： 针对人形机器人高自由度（全身运动+灵巧手）控制的系统性难题，构建了一套高效的数据收集架构，解决了干预过程中的延迟与复杂性瓶颈。
  • 乐观价值估计 (Optimistic Value Estimation, OVE)： 这是本文的核心算法创新。不同于传统的行为克隆（BC）直接拟合所有干预数据，OVE 机制能够自动筛选并优先优化轨迹中的“高价值”动作，过滤掉人类操作中的犹豫或纠偏等次优行为。
  • 跨具身经验增强 (Cross-embodiment Supervision)： 利用来自不同形态的经验视频（如人类或其他机器人）作为外部先验，为长尾的故障修复和边界情况提供额外监督，增强了价值估计的鲁棒性。

3. 对领域的潜在影响

  • 突破模仿学习的“上限”： 该研究明确指出了单纯依靠模仿人类专家数据的局限性（即吸收了错误的纠偏行为），通过引入强化学习的价值对齐，为 VLA 模型如何从“嘈杂的专家反馈”中持续进化提供了新路径。
  • 推动人形机器人落地： 人形机器人因其复杂性，在现实环境中的自主纠错能力是部署的核心难点。ROVE 提供了一种系统化的方法，让机器人能通过“被纠正”来快速学会处理复杂接触任务，极大地缩短了部署调试周期。

4. 相关领域与受益应用

  • 灵巧操作（Dexterous Manipulation）： 特别是涉及物体接触和力控的任务，如装配、精密零件分拣等。
  • 具身人工智能（Embodied AI）： 将大模型能力从纯视觉任务迁移至全身运动任务，对于通用人形机器人家庭服务或工业制造应用具有直接推动作用。
  • 自动化机器人训练平台： 任何需要通过人类“纠正”进行模型微调的机器人系统，都可以借鉴其“乐观价值估计”的思想。

5. 潜在局限性（基于摘要推断）

  • 对干预质量的依赖阈值： 虽然 OVE 能过滤噪声，但如果干预数据的总体质量过低（例如大部分干预本身就是错误的），该算法的有效性是否依然稳健值得商榷。
  • 计算开销与延迟： 将强化学习引入 VLA 后训练，涉及到在线策略迭代，这在计算资源受限的机器人嵌入式平台上可能带来推理或学习的实时性挑战。
  • 跨具身语义鸿沟： 利用人类视频来辅助人形机器人的价值估计，如何精准对齐人类手臂的运动学约束与人形机器人的关节动力学（Sim-to-Real gap），是该方法需要面对的潜在挑战。

专家点评： 这篇论文的趣味性在于它敏锐地捕捉到了当前具身大模型发展中的“数据悖论”——即数据量越大，包含的非最优人类行为噪声也越多。ROVE 通过强化学习框架将“模仿行为”转变为“价值学习”，在本质上提升了机器人从人类反馈中获取有效信息的质量，是迈向更具自主性机器人的一项重要技术优化。

Key Findings:

  • To address both the system and algorithmic challenges, we propose ROVE, a reinforcement learning framework for humanoid VLA post-training with imperfect human interventions.
  • On challenging real-world contact-rich and fine-grained humanoid manipulation tasks, ROVE outperforms experience-learning baselines and consistently improves across multiple rollout-intervention iterations.

Links:

ActiveSAM: Image-Conditional Class Pruning for Fast and Accurate Open-Vocabulary Segmentation

Authors: Tran Dinh Tien, Zhiqiang Shen

Published: 2026-06-15

Categories: cs.CV, cs.AI, cs.LG

Abstract:

Segment Anything Model 3 (SAM 3) provides a strong frozen backbone for concept-prompted segmentation, but applying it directly to open-vocabulary semantic segmentation (OVSS) is inefficient: full-resolution decoding is typically run over the entire dataset vocabulary, whereas each image contains only a small active subset of classes. We introduce ActiveSAM, a training-free, zero-shot inference framework that turns SAM 3 into an active-vocabulary segmenter. ActiveSAM first canonicalizes and expands class prompts, then estimates an image-conditioned active set from a low-resolution presence preview. Only the retained classes are decoded at full resolution, using bucketed prompt multiplexing with the frozen SAM 3 decoder. The preview stage uses only class-presence evidence and skips unnecessary segmentation-head computation, while the final stage applies margin-aware background calibration to suppress low-confidence pixels. ActiveSAM requires no target-dataset training, no weight updates, and no oracle class-presence labels. Across eight OVSS benchmarks, ActiveSAM improves the speed-accuracy tradeoff of training-free open-vocabulary semantic segmentation, outperforming the current state-of-the-art SegEarth-OV3 by approximately +1.4 mIoU on average while running up to 5.5x faster on large-vocabulary datasets. ActiveSAM also demonstrates the strongest robustness under image corruption that simulates real-world distribution shift, making it well-suited for deployment in noisy-input domains such as autonomous driving and embodied AI. Code is available at https://github.com/VILA-Lab/ActiveSAM.

Analysis:

1. 摘要翻译

Segment Anything Model 3 (SAM 3) 提供了一个强大的预训练主干用于概念提示分割，但直接应用于开放词汇语义分割（OVSS）效率低下：因为全分辨率解码通常是在整个数据集词汇表上运行的，而每张图像仅包含少量的活跃类子集。我们引入了 ActiveSAM，这是一个无需训练的零样本推理框架，将 SAM 3 转化为活跃词汇分割器。ActiveSAM 首先规范化并扩展类提示，然后通过低分辨率预览估计图像条件的活跃类集合。仅保留的类会使用桶装提示多路复用（bucketed prompt multiplexing）结合冻结的 SAM 3 解码器进行全分辨率解码。预览阶段仅利用类存在证据并跳过不必要的分割头计算，而最终阶段应用边缘感知背景校准以抑制低置信度像素。ActiveSAM 不需要目标数据集训练、权重更新或预言机（oracle）标签。在八个 OVSS 基准测试中，ActiveSAM 提升了无需训练的开放词汇语义分割的速度-精度权衡，在大型词汇数据集上运行速度最高提升 5.5 倍，平均 mIoU 较当前最先进的 SegEarth-OV3 提升了约 +1.4。

2. 方法动机分析

  • 驱动力：在开放词汇场景下，传统的 OVSS 方法需要对每一个潜在类别进行昂贵的解码，这在计算上极不经济。核心目标是在保证精度的前提下，通过识别“图像中真正存在的类别”来大幅降低推理延迟。
  • 现有痛点：SAM 3 虽然提供了语义能力，但其系统瓶颈在于全分辨率推理时，无论图像中是否存在该类别，都会对完整词汇表进行循环解码，导致了严重的冗余计算。
  • 研究假设：如果能在进行全分辨率精细分割之前，先通过一个极低计算成本的“预览”环节筛选出图像的“活跃集”（Active Set），就可以跳过大量无关类别的解码，从而实现大幅提速。

3. 方法设计详解

  • 流程总结：
    1. 上下文提示扩展 (CPE)：对类名进行语义规范化，并通过 WordNet 超义词和词汇表内邻近词来丰富提示词（Prompt），构建上下文增强的提示词缓存 $Z_c$。
    2. 预览驱动的类选择：利用 SAM 3 的存在头（presence head）在 $672 \times 672$ 低分辨率下进行快速扫描。计算每个类的存在分数 $q_c$，根据动态阈值 $\tau(I)$ 筛选出活跃集 $A(I)$。此阶段跳过分割头计算，仅进行快速存在预测。
    3. 桶装全分辨率解码：将筛选出的活跃类分组为大小为 $K=32$ 的桶，利用 SAM 3 的 grounding decoder 一次性处理。
    4. 边缘感知背景校准 (MABC)：通过计算最高置信度与第二高置信度的差值（margin）来精细化背景判定，抑制低置信度像素。
  • 模型结构：保持 SAM 3 主干和解码器完全冻结，引入的模块均为轻量级的启发式规则（如 CPE 的缓存构建）或逻辑选择（如类选择），无需额外训练权重。
  • 算法意义：通过将计算资源集中在预测概率高的类上，实现了计算量从“全词汇表大小”到“活跃集大小”的维度缩减。

4. 方法对比分析

  • 本质区别：不同于以往方法将“存在得分”仅仅作为后处理的过滤手段，ActiveSAM 将其作为“前置路由信号”，改变了推理的计算路径。
  • 创新贡献：提出了一种基于“预览-筛选-精细解码”的流水线，并结合了有效的背景校准机制，在不牺牲精度的情况下显著降低了计算成本。
  • 适用场景：在大词汇量场景（如 COCO, ADE20K）下优势极为明显，特别适用于自动驾驶等对实时性与精度双重敏感的领域。

5. 实验分析

  • 验证方法：在 8 个主流 OVSS 基准测试上进行了零样本评估，并对比了现有的 CLIP-based 和 SAM-based 方法。
  • 关键结果：在大型词汇集上实现了高达 5.5 倍的加速，同时 mean mIoU 提升了 1.4。在图像受到噪声、模糊等破坏时，表现出比 CLIP 系列方法更强的鲁棒性。
  • 优势与局限：优势是速度快、无需训练、对分布偏移稳健；局限是如果存在极小或极度遮挡的物体，低分辨率预览可能出现漏报，导致物体在后续阶段被错误剔除。

6. 实用指南

  • 开源情况：代码已开源（GitHub: VILA-Lab/ActiveSAM）。
  • 迁移细节：核心依赖于冻结的 SAM 3 模型，迁移时需确保目标数据集的类名能通过 WordNet 进行合理的超义词映射，且需按文中建议预设 $V_{gate}$ 和桶大小 $K$。

7. 总结

  • 核心思想：利用低成本预览动态剪枝词汇，实现高效的按需分割。
  • 速记版pipeline：
    1. 提示词缓存增强。
    2. 低分辨率粗筛活跃类。
    3. 桶装全分辨率精细解码。
    4. 边缘感知背景校准后处理。

Key Findings:

  • We introduce ActiveSAM, a training-free, zero-shot inference framework that turns SAM 3 into an active-vocabulary segmenter.
  • Across eight OVSS benchmarks, ActiveSAM improves the speed-accuracy tradeoff of training-free open-vocabulary semantic segmentation, outperforming the current state-of-the-art SegEarth-OV3 by approximately +1.4 mIoU on average while running up to 5.5x faster on large-vocabulary datasets.

Links:

DreamX-World 1.0: A General-Purpose Interactive World Model

Authors: DreamX Team, Yancheng Bai, Rui Chen, Xiangxiang Chu, Rujing Dang, Hao Dou, Bingjie Gao, Qiwen Gu, Siyu Hong, Jiachen Lei, Geng Li, Jifan Li, Ruimin Lin, Qingfeng Shi, Bingze Song, Lei Sun, Jing Tang, Ruitian Tian, Jun Wang, Jiahong Wu, Pengfei Zhang, Shen Zhang, Jiashu Zhu

Published: 2026-06-15

Categories: cs.CV

Abstract:

DreamX-World 1.0 is a general-purpose interactive text/image-to-video world model for controllable long-horizon generation. It supports camera navigation, revisits to previously observed regions, and promptable events across photorealistic, game-style, and stylized domains. Our data engine combines camera-accurate Unreal Engine rendering, action-rich gameplay recordings, and real-world videos with recovered camera geometry. For camera control, we introduce E-PRoPE, a lightweight variant of projective positional encoding that retains PRoPE's projective camera geometry while applying camera-aware attention to spatially reduced tokens. We convert a bidirectional video generator into a few-step autoregressive world model using causal forcing, DMD-style distillation, and long-rollout training. Training on self-generated long-horizon contexts exposes the model to its own generated history and reduces the style and color drift that accumulates across autoregressive chunks. Memory-Conditioned Scene Persistence retrieves earlier views through camera-geometry-based retrieval, while residual recycling makes the conditioning path less sensitive to imperfect memory latents. Event Instruction Tuning adds composable event control, and reinforcement learning alignment recovers camera control and visual quality after distillation. With mixed-precision DiT execution, residual reuse, 75%-pruned VAE decoding, and asynchronous pipeline parallelism, DreamX-World 1.0 reaches up to 16,FPS on eight RTX,5090 GPUs. On our 5-second basic evaluation, DreamX-World 1.0 achieves a camera-control score of 73.75 and an overall score of 84.76, outperforming HY-WorldPlay 1.5 and LingBot-World in overall score, which achieve 80.79 and 80.45, respectively.

Analysis:

1. 摘要翻译

DreamX-World 1.0 是一种通用的交互式文本/图像到视频世界模型，旨在实现可控的长期生成。它支持相机导航、对先前观测区域的重访，以及跨写实、游戏风格和风格化领域的提示事件。我们的数据引擎结合了相机精确的虚幻引擎渲染、动作丰富的游戏录制以及带有恢复相机几何形状的真实视频。为了进行相机控制，我们引入了 E-PRoPE，这是投影位置编码（PRoPE）的一种轻量级变体，它在保持投影相机几何形状的同时，将相机感知注意力应用于空间缩减的标记。我们通过因果强制（causal forcing）、DMD 式蒸馏和长滚动训练，将双向视频生成器转换为几步自回归世界模型。在自生成长期上下文上的训练使模型接触到其自身生成的历史，并减少了在自回归块中积累的风格和颜色漂移。记忆条件化场景持久性（Memory-Conditioned Scene Persistence）通过基于相机几何的检索来获取早期视图，而残差回收（residual recycling）使得条件路径对不完美的记忆潜变量不太敏感。事件指令微调（Event Instruction Tuning）增加了可组合的事件控制，强化学习对齐在蒸馏后恢复了相机控制和视觉质量。凭借混合精度 DiT 执行、残差重用、75% 剪枝的 VAE 解码和异步流水线并行化，DreamX-World 1.0 在八张 RTX 5090 GPU 上达到了高达 16 FPS 的速度。在 5 秒的基本评估中，DreamX-World 1.0 的相机控制得分为 73.75，总分为 84.76，在总分上超过了 HY-WorldPlay 1.5 和 LingBot-World。

2. 方法动机分析

  • 驱动力：旨在构建一个能在长周期内保持空间一致性、精确响应用户交互和复杂事件指令的通用交互式世界模型。
  • 现有痛点：
    • 漂移问题：自回归生成中，微小的预测误差会随时间积累，导致明显的风格、色彩和内容漂移。
    • 一致性缺失：当相机重访先前位置时，模型往往难以还原之前的场景布局。
    • 计算与性能矛盾：高质量视频生成通常需要大量的扩散步骤，导致高延迟，难以满足实时交互需求。
  • 研究假设：通过引入几何先验（E-PRoPE）和记忆机制（基于几何检索的场景持久性），并结合针对性的蒸馏与强化学习，可以平衡推理效率与生成一致性。

3. 方法设计详解

  • Pipeline：
    1. 数据引擎：整合 UE 生成数据（带精确几何标记）、真实视频（通过 MegaSaM 恢复相机姿态）和游戏记录，实现跨域统一。
    2. 相机感知训练 (E-PRoPE)：将传统的 PRoPE 优化为 E-PRoPE，通过对空间维度下采样的标记计算投影注意力，降低推理延迟约 30%。
    3. 记忆条件化场景持久性：采样历史帧作为记忆潜变量 zM，通过基于相机几何的检索，在生成时将记忆、近期历史 zH 和当前噪声帧 zC 拼接，输入模型。
    4. 因果强制与长滚动训练：将双向模型蒸馏为自回归模型，利用 DMD 损失训练，缓解长生成序列的漂移。
    5. 事件指令微调：引入分层 captioning，使模型能理解并响应多实体、复杂交互的事件指令。
    6. RL 对齐：使用视频质量和相机控制的双重奖励对蒸馏后的模型进行微调，确保性能不崩塌。
  • 模型结构：基于 DiT 架构，引入了轻量级 E-PRoPE 分支，并在推理时采用滚动 KV 缓存和异步 VAE 解码以加速。

4. 方法对比分析

  • 本质区别：与现有模型不同，DreamX-World 重点在于**“几何感知”与“记忆引导”的有机结合**，通过强制性的几何先验（E-PRoPE）和显式的记忆检索解决世界模型最棘手的“一致性”问题。
  • 创新贡献：
    • E-PRoPE 实现了控制力与计算效率的最佳平衡。
    • 将几何检索引入记忆机制，大幅提升了长程重访的一致性。

5. 实验分析

  • 验证方法：使用了基本评估（5s 短片）、长程评估（30s 序列）、重访一致性评估（revisit consistency）和盲测人类偏好研究。
  • 结论：在相机控制（73.75）和总分（84.76）上均优于基线；尤其在重访一致性测试中，各项增益指标显著，证明了场景记忆能力的有效性。
  • 局限：对极长程下的物体消失或背景突变仍有挑战，且控制信号有时可能存在逻辑冲突。

6. 实用指南

  • 开源与部署：GitHub 已开源，部署建议使用多 GPU 并行，核心在于实现异步 VAE 解码以掩盖推理延迟。
  • 实现细节：VAE 剪枝比例（75%）是性能关键；训练中需注意 RL 过程的“温和更新”，防止因奖励模型的震荡导致模型性能退化。

7. 总结

  • 核心思想：利用几何先验与记忆检索构建一致、高效的长程交互式世界。
  • 速记版 Pipeline：
    1. 统一多源数据几何表征；
    2. 使用 E-PRoPE 高效注入相机控制；
    3. 检索并注入历史记忆以保持场景一致；
    4. 蒸馏生成能力并以 RL 对齐性能；
    5. 并行异步推理实现实时交互。

Key Findings:

  • For camera control, we introduce E-PRoPE, a lightweight variant of projective positional encoding that retains PRoPE's projective camera geometry while applying camera-aware attention to spatially reduced tokens.

Links: