Arxiv Report 2026 06 23 - Owen-Liuyuxuan/everyday_my_arxiv GitHub Wiki

Arxiv Computer Vision Papers - 2026-06-23

Executive Summary

执行摘要：2026-06-22 Arxiv 计算机视觉论文日报

本日报收录10篇2026年6月22日发布的论文，整体呈现两大趋势：机器人灵巧操作与基础模型深度融合，以及多模态推理与长期决策机制的创新。以下为关键发现与建议。

1. 主要主题与趋势

  • 机器人操作的全栈自动化：从数据采集（AutoDex）、学习框架（LaST-HD、Flatness）到执行控制（CoorDex、KEMO），各环节均向端到端、可扩展方向演进。
  • 基础模型（VLA、MLLM）的实用性增强：多篇工作聚焦于如何让视觉-语言-动作（VLA）模型更稳定地跟随指令（Flatness），或在MLLM中融入代码推理（AIR）。
  • 奖励学习与主动感知：传统强化学习依赖手工奖励的问题被“过程奖励学习”（第7篇）和“主动感知扩散模型”（第8篇）等新范式挑战，有望降低人工成本。
  • 长期与动态场景处理：人形机器人连续操作（CoorDex）、长程任务记忆（KEMO）、4D交互生成（IMAGIN-4D）均指向更复杂、更现实的场景。

2. 重要或创新性论文

  • 第7篇《Learning Process Rewards via Success Visitation Matching》：提出通过“成功访问匹配”自动学习过程奖励，无需人工标注或预训练奖励模型。该方法为强化学习在机器人领域的落地提供了关键工具，显著降低奖励工程难度。
  • 第8篇《Learning to See While Learning to Act》：首次将扩散模型用于学习“主动感知策略”，使机器人在执行动作的同时能够自适应地调整观察方式。这种“感知-行动联合学习”范式对非结构化环境下的模仿学习具有突破意义。
  • 第10篇《KEMO: Event-Driven Keyframe Memory for Long-Horizon Robot Manipulation》：针对VLA模型在长程任务中容易遗忘的问题，提出事件驱动的关键帧记忆机制。该机制仅存储关键状态转换，在保持推理效率的同时显著提升长程成功率，是解决“记忆瓶颈”的实用方案。

3. 新兴研究方向与技术

  • 过程奖励的自动化学习：第7篇的工作预示奖励函数设计将从“结果导向”转向“过程导向”，并可能推广到更广泛的控制任务。
  • 主动感知与扩散模型的结合：第8篇展示了扩散模型作为感知策略生成器的潜力，未来或可扩展至多模态感知与决策。
  • “平坦性”正则化在VLA模型中的应用：第6篇发现保持损失景观的平坦性可提升指令跟随的鲁棒性，这一发现可能为VLA训练提供新的优化目标。
  • 事件驱动记忆架构：第10篇的键帧选择策略提示，将时序稀疏性引入长期记忆是处理大规模操作任务的关键方向。

4. 建议精读的论文

  • 第3篇《CoorDex》：如果你想了解人形机器人全身协调控制（移动+灵巧操作）的最新进展，这篇论文提供了联合身体与手部先验的优雅方案。
  • 第6篇《Flatness Preserves Instruction Following in VLA Models》：VLA研究者必读，其提出的平坦性正则化简单有效，可直接应用于现有训练流程。
  • 第7篇《Learning Process Rewards》：对强化学习、模仿学习或奖励设计感兴趣的研究人员，这篇论文将启发新的研究思路。
  • 第8篇《Learning to See While Learning to Act》：关注机器人感知与学习交叉领域的工作，扩散模型在主动感知中的使用是值得跟踪的前沿。
  • 第10篇《KEMO》：对于从事长程操作、记忆增强或VLA部署的研究者，该工作提供了可落地的工程方案和评估基准。

Table of Contents

  1. AutoDex: An Automated Real-World System for Dexterous Grasping Data Collection
  2. LaST-HD: Learning Latent Physical Reasoning from Scalable Human Data for Robot Manipulation
  3. CoorDex: Coordinating Body and Hand Priors for Continuous Dexterous Humanoid Loco-Manipulation
  4. AIR: Adaptive Interleaved Reasoning with Code in MLLMs
  5. IMAGIN-4D: Image-Guided Controllable Interaction Generation
  6. Flatness Preserves Instruction Following in Vision-Language-Action Models
  7. Learning Process Rewards via Success Visitation Matching for Efficient RL
  8. Learning to See While Learning to Act: Diffusion Models for Active Perception in Robot Imitation
  9. Polycepta: Object-Centric Appearance Estimation for Multi-Object Tracking
  10. KEMO: Event-Driven Keyframe Memory for Long-Horizon Robot Manipulation with VLA Policies

Papers

AutoDex: An Automated Real-World System for Dexterous Grasping Data Collection

Authors: Mingi Choi, Gunhee Kim, Jisoo Kim, Taeksoo Kim, Taeyun Ha, Jongbin Lim, Hanbyul Joo

Published: 2026-06-22

Categories: cs.RO, cs.LG

Abstract:

Learning robust dexterous grasping requires real-world data that records the physical outcomes of grasp attempts. Such data is hard to obtain at scale: teleoperation yields valid physical outcomes but is slow and operator-biased, while simulation-based generation is cheap and scalable but cannot certify contact validity. A natural solution is to generate candidate grasps and verify them on real hardware, but this scales only if the entire collection loop (perception, execution, labeling, and reset) runs without human intervention. We present AutoDex, an automated real-world data-collection system that closes this loop: for each candidate from a replaceable generator, it localizes the object under severe hand-object occlusion with dense 20-camera perception, executes collision-monitored robot motions, labels lift-and-hold success or failure, and actively resets the object between trials to expose additional candidates across stable poses. The result is a reusable database of physically labeled grasp trials that downstream systems can query by retrieval and feasibility filtering. Using AutoDex, we collect 3,593 grasp trials across Allegro and Inspire hands on 100 diverse objects, with synchronized multi-view observations and robot-state logs. For a matched 500-trajectory collection, AutoDex requires 10.3 h versus 49.4 h for teleoperation, yielding a 4.8x throughput improvement, and grasps retrieved from the AutoDex-validated database succeed 76% versus 34% for simulation-only validation. Code and data will be publicly released.

Analysis:

这是一篇关于机器人灵巧操作（Dexterous Grasping）领域的重要研究。作为计算机视觉与机器学习专家，我对 AutoDex 的分析如下：

1. 论文主要贡献总结

AutoDex 提出了一套全自动化的真实世界灵巧抓取数据采集系统，成功闭环了从物体感知、动作执行、结果标注到环境重置的全过程。该系统在无需人工干预的情况下，通过 20 视角的多相机阵列解决了严重的手-物遮挡问题，实现了 4.8 倍于遥操作的采集效率，并构建了一个包含真实物理交互结果的大规模灵巧抓取数据集。

2. 核心创新与方法论

  • 端到端自动化闭环： 该系统打破了“仿真训练-实物验证”之间的鸿沟，通过一套自动化的“感知-抓取-判定-重置”工作流，解决了真实世界数据采集过程中最繁琐的环节。
  • 多视角深度感知（Dense Multi-view Perception）： 针对灵巧抓取中常见的手-物严重遮挡（Occlusion）问题，采用了 20 个相机的阵列，极大提升了在复杂接触状态下对物体位姿和手部动作的定位精度。
  • 物理交互标注： 与仅凭几何吻合度（Simulation-based）判断抓取不同，AutoDex 通过“提拉-保持”（lift-and-hold）的物理测试来标注成功率，为下游模型提供了高置信度的物理真实反馈。
  • 主动式环境重置： 自动重置物体以暴露不同视角，提升了数据多样性和采集效率。

3. 对领域的潜在影响

  • 解决数据饥渴问题： 灵巧操作由于高自由度（DoF）和接触复杂度，一直缺乏大规模高质量的物理交互数据。AutoDex 提供了一种“工业化采集”的模版，有望催生灵巧抓取领域的 ImageNet 类数据集。
  • 定义抓取成功的评价指标： 该研究证明了基于“真实物理成功率”的标注，在抓取性能上显著优于纯仿真验证（76% vs 34%），这为未来灵巧操作算法的评估提供了新的黄金标准。

4. 受益的相关领域与应用

  • 具身智能（Embodied AI）： 直接为训练通用机器人操作策略提供了高质量的真实数据，特别是在需要精细手指配合的复杂物体操作中。
  • 计算机视觉（视觉感知）： 在高遮挡环境下的位姿估计（Pose Estimation）和接触点预测算法，将直接受益于该系统提供的多视角同步数据集。
  • 机器人学习（Robot Learning）： 特别是强化学习（RL）和模仿学习（IL）算法，可以利用这些经过物理验证的轨迹进行离线预训练，大幅降低现实环境中的试错成本。

5. 可推断的局限性

  • 硬件部署复杂性： 该系统依赖 20 个相机的复杂硬件设施，对于大多数实验室而言，复现成本极高，缺乏普适的低成本方案。
  • 物体多样性的边界： 虽然涵盖了 100 种物体，但灵巧抓取对几何形状、材质、摩擦系数极其敏感，系统在处理具有复杂柔性或极端纹理物体的能力可能受限。
  • 工作空间限制： 自动重置物体机制的存在，意味着该系统主要针对桌面级（Tabletop）的固定场景，难以直接扩展到非结构化的家庭或户外复杂环境中。

专家点评： AutoDex 的趣味性在于它清晰地识别出当前机器人学习领域的“算法瓶颈往往源于数据缺乏”这一本质。它通过工业级的系统工程能力（System Engineering），将繁琐的物理交互转化为可控的自动化数据流。对于计算机视觉研究者而言，该研究中处理极端遮挡的多视角融合策略，以及将物理交互结果转化为监督信号的方法，极具参考价值。

Key Findings:

  • We present AutoDex, an automated real-world data-collection system that closes this loop: for each candidate from a replaceable generator, it localizes the object under severe hand-object occlusion with dense 20-camera perception, executes collision-monitored robot motions, labels lift-and-hold success or failure, and actively resets the object between trials to expose additional candidates across stable poses.

Links:

LaST-HD: Learning Latent Physical Reasoning from Scalable Human Data for Robot Manipulation

Authors: Jiaming Liu, Yinxi Wang, Chenyang Gu, Siyuan Qian, Xiangju Mi, Hao Chen, Jiawei Chen, Qingpo Wuwu, Xiaoqi Li, Nuowei Han, Yiming Zhang, Xuheng Zhang, Yang Yue, Yeqing Yang, Lei Wang, Peng Jia, Hao Tang, Shanghang Zhang

Published: 2026-06-22

Categories: cs.RO

Abstract:

Human-hand demonstrations provide a direct and scalable source of physical interaction data for robot learning. While manual retargeting is indispensable for establishing kinematic action correspondence across different morphologies, robust transfer requires going beyond geometry to address the underlying alignment of physical dynamics between human and robot manipulation. To address this, we introduce LaST-HD, a novel human-to-robot action learning paradigm that extends reasoning-before-acting VLA by aligning human-hand and robot demonstrations in a shared latent reasoning space. Rather than mimicking human kinematics, LaST-HD trains an auxiliary action-conditioned world model on unpaired human-hand and robot trajectories to synthesize unified latent targets. After aligning cross-embodiment representations in this shared forward-dynamics space, these targets supervise LaST-HD's latent reasoning process, enabling it to internalize shared physical dynamics and drive efficient human-hand action learning. Moreover, we develop Out-of-Lab (OOL) Glove, a low-cost motion-capture glove tailored to LaST-HD for human-hand data collection. The captured human data provide precise keypoints and serve as universal action supervision across grippers and dexterous hands. Armed with the aligned latent space and high-fidelity human-hand data, we develop a progressive mixed-to-human training recipe comprising mixed human-robot co-training and human-hand online correction post-training. Through mixed co-training, LaST-HD improves generalization to novel objects, scenes, and positions using only human-hand demonstrations. With online correction, LaST-HD further adapts to novel environments and achieves over 90% accuracy using only 20 minutes of OOL glove data.

Analysis:

以下是对 LaST-HD 论文的方法分析与总结：

1. 摘要翻译

人手演示是机器人学习的直接且可扩展的数据来源。虽然手动重定向对于建立跨形态的运动学动作对应关系必不可少，但鲁棒的迁移需要超越几何范畴，解决人手与机器人操纵之间底层物理动力学的对齐问题。为此，我们引入 LaST-HD，一种新型的人机动作学习范式，它通过将人手和机器人演示对齐到共享的潜在推理空间中，扩展了“推理优先于行动”的 VLA 框架。LaST-HD 并非机械模仿人类运动学，而是在非成对的人手和机器人轨迹上训练一个动作条件下的世界模型，以合成统一的潜在目标。对齐后的潜在空间驱动了 LaST-HD 的高效推理与动作生成。此外，我们开发了 Out-of-Lab (OOL) 手套，这是一种低成本运动捕捉手套，用于收集高保真的人手数据。结合渐进式混合到人类（mixed-to-human）训练策略，LaST-HD 在仅需 20 分钟人类在线矫正数据的情况下，实现了在未知环境中的高精度适应。

2. 方法动机分析

  • 驱动力：利用海量人手数据降低机器人遥操作的昂贵成本，并提升模型在非结构化环境中的泛化能力。
  • 现有痛点：传统的运动学重定向（Kinematic Retargeting）忽略了不同实体间的物理动力学差异；直接动作层面上的协同训练（Co-training）受限于数据规模，难以处理复杂的形态失配。
  • 研究假设：通过动作条件下的世界模型，可以将不同实体的物理交互行为映射到一个共享的“潜在推理空间”，从而实现跨实体的物理逻辑迁移，而非简单的运动轨迹模仿。

3. 方法设计详解

  • Pipeline：
    1. 世界模型桥梁（World Model Bridge）：在混合的人机轨迹上训练一个动作条件下的世界模型，通过交叉注意力（Cross-attention）注入动作块，提取深层 U-Net 特征作为物理动力学的“潜在真实值（Latent GT）”。
    2. LaST-HD 推理模型：基于 Mixture-of-Transformers (MoT) 架构。推理专家（Reasoning Expert）自回归预测潜在状态 $\mathcal{Z}$，动作专家（Action Expert）基于预测的潜在状态通过流匹配（Flow Matching）生成动作块。
    3. ** latent 监督**：通过余弦相似度损失（Cosine Similarity Loss）将推理专家的潜在输出与世界模型提取的 latent 目标对齐。
  • 模型结构：分为 Reasoning Expert 和 Action Expert。两者通过“共享注意力机制”交互，推理专家负责理解物理逻辑（产生任务规划），动作专家负责具体执行。
  • 核心逻辑：使用“动作作为锚点”来校准 latent 空间。即便人类和机器人的外观不同，但在执行同一动作时，物理结果（如：推动苹果）的 latent 表示在对齐后具有高度结构化，从而引导策略模型学习本质的物理交互而非表象。

4. 方法对比分析

  • 本质区别：从传统的“几何对齐”转变为“物理动力学 latent 对齐”。
  • 创新贡献：提出了一种不依赖严格对齐数据的“潜在监督”机制，有效解决了跨形态迁移中的语义鸿沟。
  • 适用场景：适用于多种机器人构型（夹爪、灵巧手）及多模态长序列操作任务。

5. 实验分析

  • 验证方法：在6种不同任务、3种机器人形态下评估成功率，并进行零样本（Zero-shot）和在线修正后的性能测试。
  • 关键结论：LaST-HD 在通用性测试中显著优于基线模型；仅需 20 分钟的人手数据校正，即可将成功率提升至 90% 以上。
  • 优势：极高的数据利用效率，无需大量的机器人遥操作数据。
  • 局限：推理过程尚未实现实时（real-time），且对于流体动力学等高度随机环境仍有优化空间。

6. 实用指南

  • 实现要点：
    • OOL Glove：低成本 IMU 方案，关注手腕相机置于“拇指-食指”侧边以获取更好的接触视角。
    • 混合训练：阶段一（混合预训练）+ 阶段二（人类在线修正）。
    • 超参数：latent 长度设为 4 可在性能与推理速度之间取得最佳平衡。
  • 迁移思路：若想迁移，可重点复刻其“预训练世界模型以生成潜在监督信号”这一范式，此部分是对模型进行物理注入的核心。

7. 总结

  • 核心思想：利用世界模型作为媒介，在 latent 空间实现跨形态的物理逻辑统一。
  • 速记版 Pipeline：
    1. 使用世界模型提取人机动作的物理逻辑特征（Latent GT）；
    2. 推理专家利用上述特征进行物理动力学建模；
    3. 动作专家在推理专家的引导下执行任务；
    4. 收集少量人类反馈数据进行在线微调，实现快速适应。

Key Findings:

  • To address this, we introduce LaST-HD, a novel human-to-robot action learning paradigm that extends reasoning-before-acting VLA by aligning human-hand and robot demonstrations in a shared latent reasoning space.
  • Moreover, we develop Out-of-Lab (OOL) Glove, a low-cost motion-capture glove tailored to LaST-HD for human-hand data collection.
  • Armed with the aligned latent space and high-fidelity human-hand data, we develop a progressive mixed-to-human training recipe comprising mixed human-robot co-training and human-hand online correction post-training.
  • Through mixed co-training, LaST-HD improves generalization to novel objects, scenes, and positions using only human-hand demonstrations.
  • With online correction, LaST-HD further adapts to novel environments and achieves over 90% accuracy using only 20 minutes of OOL glove data.

Links:

CoorDex: Coordinating Body and Hand Priors for Continuous Dexterous Humanoid Loco-Manipulation

Authors: Sikai Li, Shuning Li, Zhenyu Wei, Yunchao Yao, Chenran Li, Mingyu Ding

Published: 2026-06-22

Categories: cs.RO, cs.AI, cs.LG

Abstract:

Humanoid loco-manipulation is often simplified into a stop-and-go process: walking to an object, stopping to manipulate it, and then resuming locomotion. It also commonly relies on low degree-of-freedom (DoF) end effectors that behave like an open-close grasp primitive. We introduce CoorDex, a learning pipeline that converts high-dimensional body and dexterous hand control into coordinated latent residual control, enabling high-DoF dexterous loco-manipulation on the move. Starting from simulated whole-body and hand demonstrations, CoorDex trains privileged motion tracking teachers for the humanoid body and dexterous hand, distills them into proprioception-conditioned latent priors, and uses the frozen priors as the action space for downstream residual reinforcement learning. A coordinated latent residual policy composes these priors through shared task context and separate body-hand residual heads, preserving natural whole-body motion while improving finger-level contact reliability. CoorDex enables a Unitree G1 humanoid with a 20-DoF WUJI hand to execute dexterous manipulation while in motion, including non-stop bottle grasping and carrying, fridge door opening on the move, and cube pick-and-turn. Ablations on the walk-grasp-carry task show that joint-space PPO, joint-space hand control, and monolithic latent prediction all fail under the same reward budget, while the latent-prior interface and coordinated residual structure make high-dimensional contact-rich loco-manipulation trainable. Project Page: https://skevinci.github.io/coordex/

Analysis:

1. 摘要翻译

类人机器人操作通常被简化为“停-走”过程：走向目标、停下操作、然后恢复移动。这种方法通常依赖低自由度（DoF）的末端执行器，仅能实现简单的抓取。我们提出了 CoorDex，一种将高维身体和灵巧手控制转化为协调潜空间残差控制的管道，实现了移动中的高自由度灵巧操作。CoorDex首先利用模拟的全身体和手部演示，训练特权运动追踪教师，随后通过变分瓶颈将其蒸馏为本体感知条件下的潜空间先验。这些冻结的先验作为下游残差强化学习的动作空间。协调潜空间残差策略通过共享任务上下文和分离的身体-手部残差头来组合这些先验，既保持了自然的全身运动，又提高了手指接触的可靠性。CoorDex使配备20自由度WUJI灵巧手的Unitree G1人形机器人能够执行移动中的灵巧操作，包括非停顿抓取和携带、移动中开冰箱门以及立方体拾取-转动。

2. 方法动机分析

  • 驱动力：解决灵巧手在移动过程中因身体动态干扰而难以保持稳定操作的问题，实现全身运动与精细手指操作的解耦与协同。
  • 现有方法痛点：
    • 停-走限制：现有系统大多假设末端执行器轨迹由预设路径或 stationary 控制器提供，忽略了移动中身体姿态对灵巧操作的实时干扰。
    • 探索维度灾难：直接在全关节空间进行强化学习，维度过高，难以收敛。
    • 手部先验僵化：通用的手部先验往往试图在潜空间内对6D腕部运动建模，导致其容量被分配给腕部位置控制，而非更重要的手指协同。
  • 研究假设：通过将全身运动与腕部稳定的手部运动进行结构化解耦，并在潜空间进行协调控制，能够大幅降低探索复杂度，同时提升 Loco-manipulation 的鲁棒性。

3. 方法设计详解

  • 流程 Pipeline：
    1. 分层先验训练：分别构建身体先验（支持运动、触及、腕部姿态）和腕部稳定的手部先验（仅控制手指协同）。
    2. 蒸馏：利用变分瓶颈，将特权教师模型蒸馏为 proprioception 条件下的编码器-解码器。
    3. 残差协调策略：下游 RL 策略冻结先验，仅学习在潜空间添加残差（$\Delta z$）。
  • 模型结构：
    • Coordination Trunk：共享结构，处理任务上下文、物体姿态和接触状态，作为身体和手部残差头的输入源。
    • 双残差头（Body/Hand Residual Heads）：通过 tanh 输出 latent 偏移量，修正先验输出。
  • 关键公式意义：
    • $z_{t} = \mu_{t}^{p} + \Delta z_{t}$：通过残差调整预训练的先验均值，确保策略在先验运动基础上进行微调，而非从零开始探索。

4. 方法对比分析

  • 本质区别：与传统方法相比，CoorDex 实现了“身体-手部”的非对称解耦，强制手部先验放弃对腕部姿态的拟合，专注于 finger-level dexterity。
  • 创新贡献：提出了一种 coordinated latent residual 机制，通过共享协调特征在保持身体和手部结构分离的同时，实现了任务层面的深度融合。
  • 适用场景：复杂动态环境下需要全身协调的灵巧操作任务（如非停顿搬运、工具使用）。

5. 实验分析

  • 验证方法：在 Isaac Lab 中对比了 Joint-space PPO、Body Prior + Joint Hand 等基线。
  • 关键结论：在 WALKGRAB 任务中，CoorDex 达到了 0.55 的成功率，而全关节空间控制（All Joint Space）完全失败（0%）。
  • 优势：在动作空间较小的情况下实现高鲁棒性，且能维持自然的全身动态。
  • 局限：目前依赖特权状态信息（privileged state），未包含感知（perception），且长程任务仍需特定的阶段重置引导（NoDemoRSI）。

6. 实用指南

  • 实现细节：
    • 身体先验 latent 维度 16，手部先验 12。
    • 使用 NoDemoRSI 机制（自造重置 buffer）处理长程任务的稀疏奖励问题。
  • 迁移可能：该架构具有极高的通用性，更换手部模型（如 Dex3-1）只需重新训练特定的手部 tracker 并蒸馏，无需重训练整个身体模型。

7. 总结

  • 核心思想：通过解耦潜空间先验并由共享协调机制施加残差，实现 Loco-manipulation。
  • 速记版 Pipeline：
    1. 训练全身体与手部运动追踪器；
    2. 蒸馏生成先验模型；
    3. 训练协调策略输出潜空间偏移；
    4. 执行残差修正后的关节动作。

Key Findings:

  • We introduce CoorDex, a learning pipeline that converts high-dimensional body and dexterous hand control into coordinated latent residual control, enabling high-DoF dexterous loco-manipulation on the move.

Links:

AIR: Adaptive Interleaved Reasoning with Code in MLLMs

Authors: Cong Han, Xiaohan Lan, Haibo Qiu, Yujie Zhong

Published: 2026-06-22

Categories: cs.CV, cs.AI

Abstract:

Following the paradigm shift initiated by OpenAI o3, interleaved reasoning with code to enhance multimodal large language models (MLLMs) has become a pivotal research frontier. The existing literature focuses primarily on tool-use within vision-perception tasks. However, such approaches typically rely on predefined heuristics for visual manipulation and are inherently incapable of addressing numerical computation problems due to their exclusive focus on visual operations. This paper empowers MLLMs with adaptive interleaved reasoning capabilities through extended reinforcement learning training on code-augmented complex numerical computation tasks. To this end, we propose a comprehensive three-component solution consisting of: a two-stage cold-start data construction pipeline, data filtering strategies for RL dataset curation, and an adaptive tool-invocation strategy leveraging a group-constrained reward function for interleaved reasoning trajectories. Extensive experiments demonstrate that after Reinforcement Learning training with the group-constrained reward function, performance improves by an average of 6.1 percentage points (pp) on evaluation benchmarks. Specifically, the accuracy for interleaved reasoning samples increases by 9.9 pp, and the overall success rate of tool-use exceeds 95%. Our data and code are available at: https://github.com/CongHan0808/AIR.git.

Analysis:

以下是针对论文《AIR: Adaptive Interleaved Reasoning with Code in MLLMs》的深度分析：

1. 摘要翻译

随着OpenAI o3引发的范式转移，通过代码进行交错推理以增强多模态大语言模型（MLLMs）已成为核心研究前沿。现有文献多局限于视觉感知任务中的工具使用，且受限于预定义的启发式规则，难以处理复杂的数值计算。本文通过在代码增强的复杂数值计算任务上进行扩展强化学习训练，赋予了MLLM自适应交错推理的能力。我们提出了一套完整方案：两阶段冷启动数据构建流水线、RL数据集清洗策略，以及一种利用组约束奖励函数（group-constrained reward function）的自适应工具调用策略。实验表明，该方法在评估基准上性能平均提升6.1个百分点，交错推理准确率提升9.9个百分点，且工具调用成功率超过95%。

2. 方法动机分析

  • 驱动力：旨在弥补当前MLLM在“System 2”逻辑推理（特别是复杂数学运算）方面的短板，实现类人化的“遇到难题调用外部工具”的思维模式。
  • 痛点：现有工作多聚焦于视觉操作（如缩放、旋转），且通常依赖启发式规则，缺乏自主判断“何时调用、是否调用”代码的能力；训练过程中长序列推理容易引发不稳定性或模型崩溃。
  • 核心直觉：通过强化学习引入组内约束（Group-constrained reward），能够强制模型在推理轨迹中权衡“推理正确性”与“代码调用效率”，从而实现更稳健的适应性。

3. 方法设计详解

  • 两阶段数据构建：
    1. CoT生成：利用Gemini 2.5 Pro生成文本推理链路。
    2. 交错重写：利用LLM将计算密集部分重写为可执行的Python脚本。
    3. 验证与过滤：确保代码在沙箱中运行成功且结果与Ground Truth一致，这是高质量冷启动数据的关键。
  • RL数据过滤策略：
    • Self-Sampled：基于多轮roll-out后的成功率（Pass@k）进行过滤，构建高效数据飞轮。
    • Prior-Filtered：利用强模型作为“评判者”，对数据进行质量把关。
  • 自适应工具调用（GRPO改进版）：
    • 在GRPO基础上，设计了组约束奖励函数。通过设置正确/错误情况下的工具调用频率上限/下限（$P_r, P_w$），有效防止模型出现“过度调用”或“不敢调用”的问题，从而显著增强长期训练的稳定性。

4. 方法对比分析

  • 本质区别：传统模型往往强行或随机调用工具，而AIR将工具调用作为一种“受控决策”，通过Group Constraint实现了策略层面的自适应。
  • 创新点：将“工具使用比例”作为惩罚/奖励的变量引入GRPO训练；通过“代码-文本”交错反馈循环，解决了数学推理任务中的计算精确性问题。
  • 适用场景：适用于需要复杂算术、逻辑推导且涉及多模态输入的科学计算类任务。

5. 实验分析

  • 验证方法：在MathVista、MathVerse等6个数学推理基准上进行对比。
  • 关键结果：在MathVista上领先Qwen2.5VL-7B 8.1个百分点，证明了代码增强对于提升复杂推理能力的显著效果。
  • 局限性：高度依赖基础模型的编码能力；当前代码工具箱功能有限（对复杂/生僻库支持不足）；感知模块有时会误读图表数值。

6. 实用指南

  • 开源情况：代码已开源（https://github.com/CongHan0808/AIR.git）。
  • 实现细节：在RL训练中，需严格监控Entropy变化，防止因过度工具调用导致的崩溃；建议将代码执行器封装在沙箱中，并输出符合格式的<interpreter>标签。
  • 迁移建议：该框架可直接迁移至需要调用外部API或数据库的非数学领域（如金融财报分析、科学仿真等）。

7. 总结

  • 核心思想：通过组约束强化学习，实现代码工具调用的动态自主决策。
  • 速记版Pipeline：
    1. 构建数据：用模型生成带代码的推理链路，并过滤掉执行错误样本。
    2. 强化学习：使用GRPO训练，并在奖励函数中加入“工具调用比例”约束。
    3. 环境交互：推理过程中动态判定是否需要写代码，并在沙箱运行后将结果反馈给模型。

Key Findings:

  • To this end, we propose a comprehensive three-component solution consisting of: a two-stage cold-start data construction pipeline, data filtering strategies for RL dataset curation, and an adaptive tool-invocation strategy leveraging a group-constrained reward function for interleaved reasoning trajectories.

Links:

IMAGIN-4D: Image-Guided Controllable Interaction Generation

Authors: Sai Kumar Dwivedi, Federica Bogo, Buğra Tekin, Chenhongyi Yang, Nadine Bertsch, Tomas Hodan, Michael J. Black, Dimitrios Tzionas, Shreyas Hampali

Published: 2026-06-22

Categories: cs.CV

Abstract:

Generating human-object interactions (HOI) is central to character animation, robotics, AR/VR, and embodied AI. Recent HOI generation methods synthesize motion from text, object geometry, and sparse waypoints, controlling action semantics and object trajectories. However, these signals underspecify interaction: the same prompt and trajectory can produce different grasps, approach directions, body poses, object poses, contacts, and body-object layouts. We address this ambiguity with a reference image as a visual specification of the desired interaction snapshot. However, a single global image representation conflates distinct cues and conditions all frames on identical visual evidence. We therefore introduce IMAGIN-4D, a diffusion-based HOI generator that decomposes image conditioning spatio-temporally. For spatial conditioning, IMAGIN-4D extracts supervised interaction-state tokens for body pose, object pose, body-object contact, and spatial relationships at the depicted frame. For temporal conditioning, it computes frame-aware tokens by querying image patches per generated frame, allowing sequence segments to attend to different visual cues from the same image. To balance image, text, and waypoint cues, IMAGIN-4D uses role-aware conditioning: text, waypoints, and interaction-state tokens use separate AdaLN streams, while frame-aware visual tokens cross-attend with motion tokens. Since HOI motion datasets lack paired images, we build a synthetic motion-to-image rendering pipeline from FullBodyManipulation (FBM) and introduce an image-adherence metric to evaluate whether generated motions match the reference snapshot. Experiments on FBM and BEHAVE show that IMAGIN-4D improves fine-grained interaction control over single-token and uniformly image-conditioned baselines while preserving waypoint-following and motion quality. Code and models will be released at https://imagin4d.github.io.

Analysis:

1. 摘要翻译

IMAGIN-4D 提出了一种通过参考图像引导的 4D 人机交互（HOI）生成框架。现有的基于文本、对象几何和稀疏轨迹的生成方法往往面临“交互模糊性”，即相同的条件可对应多种截然不同的交互细节（如抓取方式、接触部位）。IMAGIN-4D 通过参考图像提供交互“快照”来消除歧义。我们引入了“时空图像条件化”技术：利用空间因子分解编码器（SFIE）提取包含姿态、接触和布局的监督式空间令牌；同时引入帧感知令牌，通过查询图像补丁为序列中的每一帧提供动态视觉引导。实验表明，该方法在保持动作连贯性的同时，大幅提升了对复杂交互细节的控制能力。

2. 方法动机分析

  • 驱动力：旨在解决现有HOI生成中“条件欠指定（Under-specified）”的问题，即仅凭文本和轨迹无法准确约束细粒度的身体与物体交互（如手如何握住杯子、身体布局等）。
  • 痛点：以往方法将参考图像视为单一全局特征，导致细粒度的空间细节（如接触点、肢体动作）在生成过程中被丢失，或因信息冲突导致动态序列产生违和感。
  • 研究假设：有效的图像引导应解耦为“空间静态约束”与“帧间动态引导”两部分，分别负责定义交互快照的物理状态和动作序列的上下文流转。

3. 方法设计详解

  • Pipeline：
    1. 输入：文本提示、对象几何、轨迹点、一张参考图像。
    2. 空间特征编码（SFIE）：将参考图像输入DINOv2编码器，通过四个专门的Q-Former头并行提取接触点、人体姿态、物体姿态和身体-物体空间关系。这些令牌是监督学习的，专门用于约束交互快照。
    3. 时间动态引导（FAIE）：为序列中的每一帧单独查询图像补丁，生成帧感知令牌，使模型能够根据当前生成时间点提取最相关的视觉特征。
    4. 角色感知去噪（Role-aware Denoiser）：设计AdaLN流，将文本、轨迹与空间令牌分离输入，确保不同模态的控制信号不互相干扰。空间令牌受时序窗门控，仅在参考帧附近发挥强约束作用。
  • 核心逻辑：通过SFIE强约束交互关键帧，利用FAIE实现动态连续，并通过Role-aware机制避免条件之间的竞争，从而平衡语义准确性与运动连贯性。

4. 方法对比分析

  • 本质区别：从传统的“单令牌全局条件化”进化为“时空因子分解式条件化”。
  • 创新点：
    1. SFIE：将全局图像拆解为可理解的物理属性（姿态、接触等），实现了更细粒度的控制。
    2. Role-aware AdaLN：解决了多源条件（文本、轨迹、图像）在神经网络中混合引发的控制干扰问题。
  • 场景：极度依赖物理交互一致性的虚拟角色动画、AR/VR内容自动生成。

5. 实验分析

  • 验证方法：在FBM和BEHAVE数据集上与CHOIS、ViHOI等基线模型对比，引入了“图像依从性指标（Image-adherence）”衡量生成结果与参考图像的几何吻合度。
  • 关键结论：相比单令牌方法，IMAGIN-4D在Image-adherence指标上实现了显著提升（在FBM上，Any帧指标从约13.2cm降至7.45cm），且没有损害原有的动作质量（FID）和文本对齐精度。
  • 局限：对极小或极细物体的处理可能仍存在少许穿模，且对参考图像的内容敏感，若图像与训练数据域偏差过大（Domain shift），效果会下降。

6. 实用指南

  • 开源：代码与模型已开源（https://imagin4d.github.io）。
  • 实现要点：SFIE部分的4个Q-Former头是关键，训练需 paired data（文中通过渲染FBM序列获得）。需注意损失函数中SFIE Loss的加权配置。
  • 迁移建议：可迁移至任何基于Diffusion的Motion Generation框架中，只需在其去噪阶段增加类似的AdaLN分支，并将参考图像的patch feature作为条件输入。

7. 总结

  • 核心思想：通过时空解耦和角色分流策略，实现对复杂交互细节的精准图像引导。
  • 速记pipeline：
    1. 提取多维空间令牌（定点约束）；
    2. 生成帧感知动态序列特征（流转引导）；
    3. 通过角色流隔离控制信号（消除干扰）；
    4. 分段式去噪生成最终序列。

Key Findings:

  • Experiments on FBM and BEHAVE show that IMAGIN-4D improves fine-grained interaction control over single-token and uniformly image-conditioned baselines while preserving waypoint-following and motion quality.
  • Code and models will be released at https://imagin4d.github.io.

Links:

Flatness Preserves Instruction Following in Vision-Language-Action Models

Authors: Haochen Zhang, Yonatan Bisk

Published: 2026-06-22

Categories: cs.RO

Abstract:

Vision-language-action (VLA) models have the potential for open-world generalization by leveraging pretrained vision-language representations, yet downstream finetuning on limited robot data often degrades these representations, leading to brittle policies that ignore language instructions in favor of visual shortcuts, a failure mode we term instruction blindness. We hypothesize that standard finetuning with limited data applies gradients to a sparse set of points, which manifests as a sharp loss landscape with high-curvature minima. We propose to address this directly through flatness-preserving optimization while finetuning on the exact same data, where learning a flatter landscape results in a model more robust to perturbations in the weight space. Specifically, we demonstrate that simply applying sharpness-aware minimization during VLA finetuning significantly improves instruction following by over 60% across multiple simulation and real-world benchmarks without additional data, architectural modification, or retraining. We further analyze the effect of selective sharpness, quantify its effects, and show that our approach is complementary to existing guidance techniques. Project page can be found at https://haochenz11.github.io/papers/flatness-vla/.

Analysis:

1. 摘要翻译

视觉-语言-动作（VLA）模型凭借预训练的视觉-语言表示，具备在开放世界中实现泛化的潜力。然而，在有限的机器人数据上进行微调往往会破坏这些表示，导致策略变得脆弱，忽略语言指令而倾向于视觉捷径，这种失效模式被称为“指令盲视”（instruction blindness）。我们假设标准微调在稀疏数据集上会产生具有高曲率极小值的尖锐损失平面。为此，我们提出了一种“保持平坦度”（flatness-preserving）的优化方法，通过在微调时学习一个更平坦的损失空间，使模型对权重扰动更具鲁棒性。实验证明，在不增加数据、不修改架构的情况下，通过锐度感知最小化（SAM）进行VLA微调，能将指令遵循能力提升60%以上。

2. 方法动机分析

  • 驱动力：旨在解决VLA模型微调过程中出现的“指令盲视”问题，即模型过拟合于视觉背景而忽视语言指令。
  • 现有方法痛点：传统微调在有限数据上容易收敛到高曲率（尖锐）的局部极小值，导致模型对输入变化（如指令或环境）极度敏感，产生严重的过拟合。
  • 研究假设：VLA指令盲视是因为模型在有限数据上学到了错误的、尖锐的损失景观。如果能通过优化迫使模型收敛到“平坦”的区域（即Loss在权重空间邻域内波动较小），模型将获得更好的泛化能力，从而更关注指令而非视觉捷径。

3. 方法设计详解

  • 核心算法：锐度感知最小化（SAM）
    • 步骤 1 (计算扰动)：在当前权重 $\theta$ 处，通过一次梯度上升步计算损失梯度方向，确定损失增加最快的方向，求出最优扰动 $\hat{\epsilon}$。
    • 步骤 2 (梯度计算)：在扰动后的权重 $\theta + \hat{\epsilon}$ 处计算损失的梯度 $g_{perturbed} = \nabla_{\theta}L(\theta + \hat{\epsilon})$。
    • 步骤 3 (权重更新)：利用上述在“最坏情况”下计算出的梯度，对原参数 $\theta$ 进行一步标准的 AdamW 更新。
  • 模型结构：SAM直接作用于VLA模型的参数空间，无需对模型架构进行任何修改，是一种纯粹的优化策略。

4. 方法对比分析

  • 本质区别：与数据增强（增加多样性）或引导技术（推理时矫正）不同，本方法直接干预训练过程中的损失景观几何形状。
  • 创新贡献：首次将平坦度保持优化引入VLA微调，证明了损失空间平坦度与指令遵循性能之间的强相关性。
  • 适用场景：数据量受限、易产生过拟合、且需要极高语言理解精度的机器人操控任务。

5. 实验分析

  • 验证方法：在LIBERO-PRO、LangGap、LIBERO-CF三个基准测试集上进行零样本泛化评估，并辅以真实机器人实验。
  • 关键结果：在多个指标上超越了现有的数据增强和引导方法，部分任务性能提升超200%。
  • 主要优势：性能提升显著，不增加额外训练数据，且与现有的推理时引导技术互补。
  • 主要局限：每次更新需要两次前向传播（及两次梯度计算），导致训练开销翻倍。

6. 实用指南

  • 开源建议：该方法基于标准的SAM框架（如Fore et al., 2020），深度学习框架（PyTorch）中已有成熟实现，可直接集成。
  • 实现细节：关键超参数为 $\rho$（扰动半径），建议通过超参数扫描寻找最佳值（文中发现0.05-0.075在大多数场景效果最好）。注意由于是Bilevel优化，计算开销较大。
  • 迁移可能：该方法本质上是通用的优化器插件，不仅限于VLA，理论上适用于所有需要从预训练模型进行有限数据微调的视觉-语言任务。

7. 总结

  • 核心思想：通过平坦化损失景观，强制模型学习鲁棒的指令对齐表示。
  • 速记版pipeline：
    1. 计算当前权重的最坏损失增长方向；
    2. 在扰动后的最差位置计算梯度；
    3. 利用该梯度更新原始权重，强制参数收敛至平坦盆地。

Key Findings:

  • We propose to address this directly through flatness-preserving optimization while finetuning on the exact same data, where learning a flatter landscape results in a model more robust to perturbations in the weight space.
  • Specifically, we demonstrate that simply applying sharpness-aware minimization during VLA finetuning significantly improves instruction following by over 60% across multiple simulation and real-world benchmarks without additional data, architectural modification, or retraining.
  • We further analyze the effect of selective sharpness, quantify its effects, and show that our approach is complementary to existing guidance techniques.

Links:

Learning Process Rewards via Success Visitation Matching for Efficient RL

Authors: Raymond Tsao, Andrew Wagenmaker, Sergey Levine

Published: 2026-06-22

Categories: cs.LG, cs.AI, cs.RO, stat.ML

Abstract:

In many modern applications of reinforcement learning (RL), the natural reward for a task of interest is inherently sparse: a reward of 0 is given everywhere except when the task is completed, when a reward of +1 is given. Training a policy to maximize such a sparse reward requires solving a challenging credit assignment problem, leading to slow or ineffective RL improvement. We propose a simple approach to transform a sparse outcome reward into a dense process reward. Our approach relies on training a discriminator to distinguish between previous successful and unsuccessful episodes, and using this discriminator to incentivize the RL-learned policy to match the state-action visitations of successful episodes, while avoiding those of unsuccessful episodes. By incentivizing the policy to match the visitations over all states, not just those that correspond to task success, this reward provides dense feedback on whether progress is being made towards task completion, and, we show, provably achieves this without changing the optimal policy. Focusing on finetuning of robotic control policies, we demonstrate that our approach leads to significantly faster RL finetuning performance on both simulated and real-world manipulation tasks, as compared to simply maximizing the sparse outcome reward.

Analysis:

这是一篇专注于提升稀疏奖励下强化学习效率的论文。以下是深入分析：

1. 摘要翻译

在许多现代强化学习（RL）应用中，任务的原始奖励通常是稀疏的：除了任务完成时给予+1奖励外，其他地方奖励均为0。训练策略以最大化此类稀疏奖励需要解决极具挑战性的信用分配问题，导致RL改进缓慢或无效。我们提出了一种简单的策略，将稀疏的结果奖励转化为密集的流程奖励。我们的方法依赖于训练一个判别器来区分之前的成功回合与失败回合，并利用该判别器激励RL策略匹配成功回合的状态-动作访问分布，同时避免失败回合的访问分布。通过激励策略在所有状态上匹配访问分布（而非仅限于任务成功状态），这种奖励提供了关于任务进度是否在推进的密集反馈。我们证明，该方法在不改变最优策略的前提下，实现了上述效果。聚焦于机器人控制策略的微调，我们展示了与单纯最大化稀疏结果奖励相比，我们的方法在模拟和真实世界的操作任务中显著加快了RL微调性能。

2. 方法动机分析

  • 驱动力：解决稀疏奖励场景下，智能体因无法获得即时反馈而导致的信用分配（Credit Assignment）难题。
  • 痛点：现有的密集奖励设计方法要么需要人工设计（费时且不可泛化），要么需要额外的专家知识或大型数据集作为监督（限制了适用场景）。
  • 核心直觉：如果一个状态-动作序列（state-action）在历史上频繁出现在“成功”回合中，而在“失败”回合中极少出现，那么该序列很有可能引导智能体走向成功。因此，通过判别器匹配成功轨迹的访问分布，可以诱导出一种隐式的、有效的“过程奖励”。

3. 方法设计详解

  • 流程总结：
    1. 数据收集：在环境中运行策略，根据奖励（>0为成功，0为失败）将轨迹分别存入 $D^+$ 和 $D^-$。
    2. 判别器训练：训练一个分类器（判别器 $f_h$），使其最小化交叉熵损失，即识别给定状态-动作对 $(s, a)$ 来自成功轨迹 $D^+$ 的概率。
    3. 奖励塑造：构造新的奖励函数 $r^{\text{svm}} = r^{\text{out}} + \lambda \cdot \text{clip}_\beta(\log \frac{f_h}{1-f_h})$。
    4. 策略优化：使用标准RL算法（如DSRL, Residual RL）在 $r^{\text{svm}}$ 上微调策略。
    5. 迭代更新：随着策略改进，新产生的成功轨迹不断进入 $D^+$，判别器随之动态更新，形成闭环。
  • 算法解释：公式的核心是 $\log \frac{f_h}{1-f_h}$，这本质上是成功访问分布与失败访问分布的对数似然比。当 $\lambda$ 为正时，它鼓励策略访问那些“成功判别器”认为大概率导致成功的目标区域，同时对导致失败的区域给予负反馈。

4. 方法对比分析

  • 本质区别：它无需专家演示（ unlike GAIL），也不需要环境重置或额外的状态距离度量；它仅依靠智能体在线收集的“成功”与“失败”样本进行自驱动的奖励构建。
  • 创新贡献：理论证明了在确定性环境下，最大化 $r^{\text{svm}}$ 等价于最大化原始稀疏奖励 $r^{\text{out}}$，保证了策略的最优性不被破坏。
  • 适用场景：任何提供稀疏奖励的任务，特别是机器人操控、RL微调等需要快速收敛的场景。

5. 实验分析（精简版）

  • 验证方法：在LIBERO-90、RoboCasa及真实世界WidowX机械臂上进行对比测试。
  • 关键结果：SVM在几乎所有任务上达到了约 $2\times$ 的样本效率提升，且能完成单纯稀疏奖励下无法训练的任务。
  • 优劣势：优势在于训练过程全自动化、鲁棒性强、收敛快；局限在于理论证明假设环境是确定性的，虽然在非确定性场景下依然有效。

6. 实用指南

  • 开源情况：官方提供了网站 https://success-visitation-matching.github.io，代码实现可参考文中引用的多种RL基础库（如SERL）。
  • 实现细节：
    • 对称采样：训练判别器时，确保 $D^+$ 和 $D^-$ 的平衡采样很重要。
    • 超参数：$\lambda$（奖励缩放因子）建议从0.05开始调节；$\beta$（裁剪参数）用于保证奖励稳定性。
  • 迁移可能：该方法逻辑通用，可直接迁移至大语言模型（LLM）的思维链（Chain-of-Thought）强化学习中，即通过区分正确的推理路径和错误的推理路径来自动生成奖励。

7. 总结

  • 核心思想：利用成功与失败轨迹的访问密度比构建过程奖励。
  • 速记版pipeline：
    1. 收集成功与失败轨迹。
    2. 训练判别器区分两类数据。
    3. 基于判别器的置信度构造密集奖励。
    4. 使用奖励微调策略。
    5. 更新轨迹池并循环。

Key Findings:

  • We propose a simple approach to transform a sparse outcome reward into a dense process reward.
  • Our approach relies on training a discriminator to distinguish between previous successful and unsuccessful episodes, and using this discriminator to incentivize the RL-learned policy to match the state-action visitations of successful episodes, while avoiding those of unsuccessful episodes.
  • By incentivizing the policy to match the visitations over all states, not just those that correspond to task success, this reward provides dense feedback on whether progress is being made towards task completion, and, we show, provably achieves this without changing the optimal policy.
  • Focusing on finetuning of robotic control policies, we demonstrate that our approach leads to significantly faster RL finetuning performance on both simulated and real-world manipulation tasks, as compared to simply maximizing the sparse outcome reward.

Links:

Learning to See While Learning to Act: Diffusion Models for Active Perception in Robot Imitation

Authors: Kuancheng Wang, Vaibhav Saxena, Shuo Cheng, Yotto Koga, Danfei Xu

Published: 2026-06-22

Categories: cs.RO

Abstract:

Most imitation learning methods assume full observability in table-top settings. In practice, objects are often occluded, requiring robots to both search and act, and learning this coupled behavior from limited demonstrations remains challenging. We propose See2Act, an imitation learning approach that conditions action prediction on a sequence of actively-inferred viewpoints at test time, by coupling action denoising with viewpoint refinement. The policy is trained using camera poses anchored to keyframe actions from offline demonstrations, enabling implicit learning of where to see, while learning how to act. We empirically demonstrate that in Ravens the policy recovers informative viewpoints under severe occlusions, and on RLBench tasks it improves performance by up to 34% over prior methods. In the real world, we collect 50 demonstrations in a digital twin and achieve zero-shot sim-to-real transfer on pick-and-place tasks using depth observations. The policy handles significant occlusions, showing that learned viewpoint reasoning enables robust manipulation under partial observability.

Analysis:

这是一份关于论文《Learning to See While Learning to Act: Diffusion Models for Active Perception in Robot Imitation》的深度分析报告。

1. 摘要翻译

大多数模仿学习方法假设在桌面环境下具有完全观测能力。然而，现实中物体常被遮挡，要求机器人能够同时进行搜索和操作，且在有限演示数据下学习这种耦合行为极具挑战性。我们提出了See2Act，一种模仿学习方法，通过将动作去噪与视角细化相耦合，使动作预测能够基于测试时主动推理的一系列视角。该策略使用锚定在离线演示关键帧动作上的相机位姿进行训练，从而在学习如何操作的同时隐式学习“在哪里看”。我们在Ravens任务中实证表明，该策略在严重遮挡下能恢复信息丰富的视角；在RLBench任务中，性能较现有方法提升高达34%。在真实世界中，我们通过数字孪生系统收集50个演示，实现了拾取和放置任务的零样本（zero-shot）实机迁移。该策略能够处理显著遮挡，表明学到的视角推理能力可在部分可观测性下实现稳健操作。

2. 方法动机分析

  • 驱动力：打破“固定视角”对机器人操作的限制，实现“看与做”的耦合，解决现实世界中的遮挡问题。
  • 痛点：现有方法将感知（fixed view）与控制分离，或者在遮挡下完全依赖预定义视角，无法根据当前任务需求动态调整视角以获取关键信息。
  • 研究假设：通过将动作预测（去噪过程）与相机位姿生成在同一个生成模型中进行联合优化，可以使感知过程从被动变为主动，实现“为了动作而感知”。

3. 方法设计详解

  • 核心逻辑：将扩散模型的去噪过程视为一条遍历视角的路径，从全局视角（Global View, $t=T$）演进到以目标为中心的精细视角（Target-centric View, $t=0$）。
  • 流程总结：
    1. 训练阶段：利用数字孪生收集演示。对每一帧动作，计算从“全局位姿”到“关键帧动作对应的目标位姿”的相机轨迹插值。训练一个去噪器，输入相机观测，预测在该视角下如何通过噪声回归动作。
    2. 推理阶段（主动视角推理）：从初始全局相机位姿出发，通过扩散模型迭代去噪。在每一步去噪中：(a) 观测当前视角；(b) 预测下一步动作；(c) 根据当前动作估计值计算目标相机位姿，并更新相机轨迹。
  • 算法关键：公式(1)定义了动作的去噪；公式(3)-(4)通过SLERP（球面线性插值）实现相机位姿在空间中的平滑运动，确保感知连续性。

4. 方法对比分析

  • 本质区别：传统方法要么固定相机，要么将视角选择作为独立的任务（或通过随机采样）。See2Act将视角选择内嵌在扩散模型的去噪循环中，使得感知作为动作预测的子过程自发涌现，无需额外的规划器或奖励函数。
  • 创新贡献：提出了一种视角不可知的模仿学习框架，成功将“主动感知”与“动作去噪”统一到同一个生成式概率模型中。
  • 适用场景：高度遮挡、物体位置不确定、需要精细化操作的任务（如插入、置物）。

5. 实验分析

  • 验证方法：Ravens及RLBench任务（包含遮挡变体）、实机零样本迁移。
  • 结论：在Ravens遮挡任务中，成功率从0%提升至96%，在RLBench上平均成功率达81.1%。
  • 优势：极强的遮挡处理能力和零样本迁移鲁棒性；相比于单纯增加观测视角，更高效且具有针对性。
  • 局限：动作去噪过程需实时更新相机视角并重新渲染或捕获图像，导致执行延迟较高。

6. 实用指南

  • 开源情况：查看官网 see2act.github.io。
  • 实现细节：
    • 预渲染：训练时为避免实时渲染开销，建议离线预渲染相机轨迹。
    • 架构：Backbone使用ResNet-18，配合FiLM层融合语言指令；噪声预测器为简单的全连接MLP。
    • 关键点：需要确保数字孪生环境与真实世界的校准精度。
  • 迁移建议：若任务对观测要求高，可直接引入公式(3)-(4)的相机位姿插值逻辑，将其作为现有Diffusion Policy的Conditioning输入。

7. 总结

  • 核心思想：通过扩散模型将动作去噪与视角选择联合优化，实现主动感知。
  • 速记版pipeline：
    1. 根据动作目标自动规划相机运动轨迹。
    2. 在动作去噪的每一步更新相机位置。
    3. 利用动态获取的局部视角优化动作预测精度。

Key Findings:

  • We propose See2Act, an imitation learning approach that conditions action prediction on a sequence of actively-inferred viewpoints at test time, by coupling action denoising with viewpoint refinement.

Links:

Polycepta: Object-Centric Appearance Estimation for Multi-Object Tracking

Authors: Mohamed Nagy, Naoufel Werghi, Jorge Dias, Majid Khonji

Published: 2026-06-22

Categories: cs.CV, cs.AI

Abstract:

The tracking-by-detection paradigm in multi-object tracking (MOT) typically relies on static appearance descriptors to complement motion estimation. However, these descriptors are frame-independent, limiting their robustness as visual cues. Since such descriptors are often obtained from computationally intensive pretrained backbones, real-time MOT systems frequently abandon appearance cues altogether and rely solely on motion prediction and geometric association. In this work, we introduce Polycepta, an object-centric appearance state estimation framework that reformulates appearance modeling as a recursive estimation problem rather than a frame-wise matching task. Polycepta constructs and continuously updates an independent appearance state for each tracked object, enabling future appearance representations to be estimated from accumulated observations. Polycepta is encouraged to learn the appearance-state construction of object-specific representations rather than memorize them through a proposed learning strategy, enabling appearance estimation for unseen classes. A key property of Polycepta is that the quality of appearance estimation improves as object states evolve during inference. While conventional appearance descriptors remain static or degrade over time, Polycepta progressively refines appearance estimates as additional observations are accumulated. Extensive experiments on KITTI, the Waymo Open Dataset, and MOT17 demonstrate consistent reductions in identity switches and improvements in tracking performance when integrated into the tracking-by-detection pipelines. Polycepta operates at 90.57 Hz and delivers state-of-the-art performance on the KITTI benchmark when integrated into the RobMOT framework, achieving a MOTA of 92.27%.

Analysis:

以下是对该论文的深入分析：

1. 摘要翻译

多目标跟踪（MOT）中的跟踪检测范式通常依赖静态外观描述符来补充运动估计。然而，这些描述符与帧无关，限制了其作为视觉线索的鲁棒性。由于这些描述符通常源自计算密集型的预训练骨干网，实时MOT系统往往会完全放弃外观线索，仅依赖运动预测和几何关联。在这项工作中，我们引入了 Polycepta，一个对象中心的外观状态估计框架，它将外观建模重新表述为递归估计问题，而不是帧间匹配任务。Polycepta 为每个被跟踪对象构建并持续更新一个独立的外观状态，从而能够从累积的观察结果中估计未来的外观表示。Polycepta 通过所提出的学习策略，被鼓励学习对象特定表示的外观状态构建，而非单纯记忆，从而支持对未见类别进行外观估计。Polycepta 的一个关键特性是外观估计的质量随推理过程中对象状态的演进而提高。虽然传统外观描述符随时间保持静态或退化，但 Polycepta 会随着累积额外观察结果而逐步细化外观估计。在 KITTI、Waymo Open Dataset 和 MOT17 上的广泛实验表明，当集成到跟踪检测流水线中时，Polycepta 可持续减少身份切换并提高跟踪性能。Polycepta 在 RobMOT 框架中集成时以 90.57 Hz 的速度运行，并在 KITTI 基准测试中实现了 92.27% 的 MOTA，达到了最先进的性能。

2. 方法动机分析

  • 驱动力：作者试图解决MOT中外观描述符“静态”且“不可更新”的缺陷，使外观建模能像卡尔曼滤波（KF）处理运动状态那样，递归地更新和细化。
  • 现有方法痛点：传统ReID依赖帧间匹配，假设外观恒定，在遮挡、视角变化下容易产生漂移，且计算成本高。
  • 研究假设：外观信息可以通过递归的状态估计机制进行累积，从而在推理过程中随着观测值的增加，外观表示的准确度不降反升。

3. 方法设计详解

  • Pipeline：
    1. 特征投影：将MobileNetV3提取的原始特征 $X_t$ 降维到状态空间（$d_s=24$）。
    2. 视觉关系推理 (VRR)：在频域内进行圆形互相关，关联当前观察 $B_t$ 与历史状态 $H_{t-1}$，生成关系特征 $S_t$。
    3. 外观状态更新：利用门控机制 $U_t$，根据当前观测与历史积累的置信度，动态更新对象的外观状态 $H_t$。
    4. 外观估计：利用更新后的状态 $H_t$ 反投影回原始特征空间，预测下一帧的外观表示 $\hat{X}_{t+1}$。
  • 模型结构：VRR模块（引入频域计算降低复杂度）、状态更新模块（引入Gate机制以平衡新旧信息）、估计模块（用于将状态映射回观测空间）。
  • 关键公式意义：$H_t = \text{LayerNorm}(U_t \odot \psi_t + (1-U_t) \odot \tilde{H}_t)$，该式实现了类卡尔曼的更新逻辑，通过 $U_t$ 动态分配权重，使模型在遮挡时更信任历史，在特征清晰时更信任观测。

4. 方法对比分析

  • 本质区别：从“匹配任务”转向了“递归状态估计”，将外观视为一个演进的实体而非固定的向量。
  • 创新贡献：提出状态擦除学习（State-Erasure Learning）和正交化损失，强制模型学习“如何构建状态”的泛化能力，而非“记住特征”。
  • 适用场景：实时性要求高且存在长时遮挡的自动驾驶、监控场景。

5. 实验分析（精简版）

  • 验证方法：在KITTI, MOT17, WOD等主流数据集上集成入RobMOT/FastTracker框架。
  • 关键结论：在长距离跟踪（1000帧）中，传统ReID相似度下降，而Polycepta相似度持续上升。
  • 主要优势：随推理时间延长而性能提升，具有很强的跨类别泛化能力。
  • 主要局限：在极端突发情况下，过度依赖历史状态可能导致更新滞后。

6. 实用指南

  • 实现细节：
    • 关键超参数：$d_s=24$，$\Delta_t$ 学习步长需严格按状态空间协议设置。
    • 训练细节：必须应用正交化损失 $L_{orth}$ 以防止状态坍缩（所有对象的外观状态变得一致）。
  • 迁移建议：该模块可以作为“插件”插入任何基于检测的追踪器中，只需替换外观相似度计算矩阵即可。

7. 总结

  • 核心思想：外观随时间演进，通过递归状态估计实现长时身份记忆。
  • 速记版pipeline：
    1. 特征降维投影；
    2. 频域关联历史信息；
    3. 门控机制融合新旧状态；
    4. 反投影预测未来外观。

Key Findings:

  • In this work, we introduce Polycepta, an object-centric appearance state estimation framework that reformulates appearance modeling as a recursive estimation problem rather than a frame-wise matching task.
  • Polycepta operates at 90.57 Hz and delivers state-of-the-art performance on the KITTI benchmark when integrated into the RobMOT framework, achieving a MOTA of 92.27%.

Links:

KEMO: Event-Driven Keyframe Memory for Long-Horizon Robot Manipulation with VLA Policies

Authors: Yihan Zeng, Minghao Ye, Yiyuan Chen, Yide Shentu, Philipp Wu, Zike Yan, Zhongyu Li

Published: 2026-06-22

Categories: cs.RO

Abstract:

Long-horizon robot manipulation remains challenging because similar observations may occur at different execution stages, while the appropriate action depends on previously completed operations. Memory can address this ambiguity by enabling policies to infer task progress from execution history. However, existing memory-augmented approaches often either retain dense histories that require compression or rely primarily on recent context that may discard earlier task-relevant events. In this work, we propose propose KEMO, a lightweight plug-in memory framework that automatically selectively preserves keyframes associated with task-relevant state changes for VLA policies. KEMO combines robot kinematics with visual filtering to detect events, encodes the selected keyframes as compact temporally ordered memory tokens, and integrates them with current visual features through cross-attention and gated residual fusion for VLA training. The detected events also define higher-weight training samples near critical transitions. We evaluate KEMO on various real-world dual-arm manipulation tasks spanning 2 to 6 scored subtasks, and trajectory length ranging from 830 steps to 2846 execution steps (durations from 28 to 95 seconds). Compared with the memory-free baseline (e.g., $π_{0.5}$), KEMO improves aggregate Task Success Rate by 23.6% and Stage Completion Rate by 34.1%. Ablations show that event-driven keyframe selection outperforms uniform sampling and recent-frame retention, while the proposed gated fusion and keyframe-aligned loss weighting provide complementary gains.

Analysis:

作为计算机视觉和机器人学习领域的专家，我对 KEMO (Event-Driven Keyframe Memory) 这篇论文的分析如下：

1. 核心贡献总结

KEMO 提出了一种轻量级的“事件驱动”关键帧记忆框架，旨在解决视觉语言动作（VLA）模型在长时程机器人操作中因观测相似性导致的决策模糊问题。通过结合机器人运动学与视觉滤波来提取任务相关的关键状态，该方法能够有效地压缩历史轨迹信息，显著提升了模型在复杂、多阶段操作任务中的成功率。

2. 核心创新与方法论

该论文的创新点在于打破了传统记忆机制（如单纯的密集缓存或最近帧存储）的局限性：

  • 事件触发机制 (Event-Driven Selection)： 利用机器人运动学数据（Kinematics）与视觉特征的协同，自动筛选出发生重大状态改变（如抓取、放置、切换动作）的关键时刻，而非盲目存储所有帧。
  • 紧凑记忆嵌入： 将选定的关键帧转化为时间序列相关的记忆 Token，并通过**交叉注意力机制（Cross-Attention）和门控残差融合（Gated Residual Fusion）**无缝集成到 VLA 策略中。
  • 关键点权重优化： 将检测到的事件点作为训练时的“高权重样本”，引导模型在关键过渡阶段学习更稳健的决策逻辑，这在强化学习/模仿学习中是一种非常优雅的加权辅助手段。

3. 对领域的潜在影响

  • 缓解 VLA 的上下文窗口压力： 随着 VLA 模型应用规模扩大，如何处理长视频/长序列数据是一个核心痛点。KEMO 提供了一种“即插即用”的插件式方案，证明了通过“选择性记忆”代替“全量记录”可以显著提升长程任务的推理精度。
  • 融合多模态先验： 该研究展示了将物理先验（运动学）与视觉特征（VLM）结合的巨大潜力，这对于提升具身智能在现实物理世界的可靠性具有重要的参考价值。

4. 相关领域与应用前景

  • 工业自动化： 多步骤装配任务（如精密电子制造），需要精确掌握任务进度。
  • 服务机器人： 在家居环境下执行如“收拾房间”或“做饭”等长时任务，这些任务充满环境干扰，且要求极高的状态一致性。
  • 长序列视频理解： KEMO 的选择性记忆思路也可扩展至视频摘要、自动剪辑或长视频问答任务中，用以识别视频中的“叙事关键转折点”。

5. 潜在的局限性推断

  • 对运动学数据的依赖： 虽然这增强了鲁棒性，但如果机器人系统缺乏高精度的运动学传感（例如非刚体操作或传感器受损），该框架的事件检测精度可能受限。
  • “事件”定义的泛化能力： 如果任务类型极其多样，预定义的事件过滤规则（视觉+运动学）是否能做到通用？是否需要针对不同操作任务手动调整敏感度阈值，这是未来扩展性的一大挑战。
  • 训练与推理开销： 虽然推理时使用了轻量级处理，但在训练阶段，引入的额外融合机制和事件检测模块是否会增加超参数调优的难度，需进一步考量。

总结： KEMO 的趣味性在于它没有走“大力出奇迹”堆叠 Context Window 的老路，而是采用了**“选择性记忆”**的策略，这更符合人类在执行复杂任务时——只关注关键进展点的认知规律。这对于当前的具身智能和视觉大模型落地具有极强的实践指导意义。

Key Findings:

  • In this work, we propose propose KEMO, a lightweight plug-in memory framework that automatically selectively preserves keyframes associated with task-relevant state changes for VLA policies.
  • Ablations show that event-driven keyframe selection outperforms uniform sampling and recent-frame retention, while the proposed gated fusion and keyframe-aligned loss weighting provide complementary gains.

Links: