Arxiv Report 2026 07 10 - Owen-Liuyuxuan/everyday_my_arxiv GitHub Wiki

Arxiv Computer Vision Papers - 2026-07-10

Executive Summary

每日Arxiv计算机视觉论文执行摘要（2026-07-09）

一、主要主题与趋势

本期论文覆盖了三维重建、视频生成、机器人操作、人体运动建模与长视频理解五个核心方向。整体呈现两大趋势：一是多模态融合与扩散模型的广泛应用（事件相机+视频扩散、自回归+扩散）；二是无监督/自监督学习向特定场景（水下、全景、人形交互）的渗透，减少对标注数据的依赖。此外，机器人基础模型与泛化性成为突出关注点，预训练范式从静态图像延伸至视频动作。

二、特别重要的创新论文

  1. Wat3R（水下3D几何无监督学习）——首次提出无需任何标注的水下场景3D重建方法，利用多视图一致性与物理先验，有望推动水下探测与机器人视觉的低成本部署。
  2. ContactMimic（人形物体交互接触控制）——通过精细的接触力建模实现人形机器人自然抓取与搬运，解决了当前机器人研究中“接触控制”这一关键瓶颈。
  3. Native Video-Action Pretraining（原生视频-动作预训练用于机器人控制）——设计大规模视频动作预训练框架，显著提升机器人策略在未见任务上的泛化能力，是“机器人基础模型”方向的重要进展。

三、新兴研究方向与技术

  • 事件相机+扩散模型：LongE2V将扩散模型应用于事件相机长时序重建、预测与插帧，开辟了高动态范围视频生成新路径。
  • 全景几何的生成式预训练：Geometry & Gradient-based Partitioning与Enhancing In-context Panoramic Generation两篇论文共同聚焦全景场景的几何先验与上下文生成，预示了户外大尺度场景理解的生成式方法将加速。
  • 自适应优化求解器：Learning Adaptive Solvers针对矩阵李群上的分布式因子图优化，提出可学习的迭代求解器，为SLAM和机器人状态估计提供新范式。
  • 长程第一人称视频跟踪：Whareformer通过变形注意力机制追踪“什么在哪里”，推动自我中心视频中的持续目标状态估计。

四、建议全文阅读的论文（优先级排序）

  1. ContactMimic —— 如果从事人形机器人或灵巧操作研究，这是必读工作，其接触控制框架具有直接落地潜力。
  2. Native Video-Action Pretraining —— 对机器人学习、视觉-动作表征感兴趣的读者不可错过，实验设计扎实，泛化结果突出。
  3. Wat3R —— 水下视觉或自监督3D学习领域的研究者可重点关注，方法简洁且效果显著。
  4. ARDY —— 将自回归与扩散模型混合用于交互式人体运动生成，思路新颖，适合生成式运动建模方向研究者。
  5. Whareformer —— 长视频跟踪（尤其是自我中心视角）的进展，关注持续感知的读者应仔细阅读。

其余论文（DexVerse、LongE2V、全景相关、因子图优化）根据具体研究方向选择性阅读。整体而言，本期论文质量较高，机器人学（操作与控制）与生成式模型的交叉以及无监督3D学习是最值得追踪的两条主线。

Table of Contents

  1. Wat3R: Underwater 3D Geometry Learning without Annotations
  2. LongE2V: Long-Horizon Event-based Video Reconstruction, Prediction, and Frame Interpolation with Video Diffusion Models
  3. Geometry and Gradient-based Partitioning for Panoramic Outdoor Reconstruction
  4. Enhancing In-context Panoramic Generation via Geometric-aware Pretraining
  5. DexVerse: A Modular Benchmark for Multi-Task, Multi-Embodiment Dexterous Manipulation
  6. ContactMimic: Humanoid Object Interaction via Contact Control
  7. ARDY: Autoregressive Diffusion with Hybrid Representation for Interactive Human Motion Generation
  8. Learning Adaptive Solvers for Distributed Factor Graph Optimization on Matrix Lie Groups
  9. Native Video-Action Pretraining for Generalizable Robot Control
  10. Whareformer: Learning to Track What is Where in Long Egocentric Videos

Papers

Wat3R: Underwater 3D Geometry Learning without Annotations

Authors: Jiangwei Ren, Xingyu Jiang, Zijie Song, Wei Xu, Hongkai Lin, Dingkang Liang, Xiang Bai

Published: 2026-07-09

Categories: cs.CV

Abstract:

Estimating 3D geometry in underwater environments presents unique challenges due to light attenuation, scattering, and the absence of large-scale, high-quality 3D annotations. Pioneering methods rely on massive dense annotations that are impractical in underwater settings. In this paper, we propose Wat3R, a cross-domain semi-supervised learning framework designed to adapt feed-forward 3D reconstruction models from air to underwater scenes. Uniquely, our method eliminates the need for any annotated underwater data following a teacher-student architecture, that learns robust geometry representations merely on abundant unlabeled real underwater video footage. We also design a cross-view consistency loss that leverages geometric cues from other views to compensate for the information degradation in the current view caused by water attenuation and scattering. Furthermore, considering the lack of comprehensive evaluation benchmarks, we construct Water3D, a diverse dataset covering various water bodies and underwater scenarios, designed for geometric task evaluation. Experimental results demonstrate that Wat3R outperforms current state-of-the-art methods in underwater multi-view depth estimation and point cloud reconstruction. The dataset and code are available at https://github.com/LSXI7/Wat3R .

Analysis:

以下是对论文《Wat3R: Underwater 3D Geometry Learning without Annotations》的深度分析：

1. 摘要翻译

水下环境下的3D几何估计因光线衰减、散射以及缺乏大规模高质量3D标注而面临独特挑战。现有前沿方法依赖于海量密集标注，这在水下场景中极不现实。为此，我们提出了Wat3R，一种跨域半监督学习框架，旨在将预训练的通用3D重建模型从空气环境迁移到水下场景。该方法采用教师-学生架构，仅利用海量无标注的水下视频数据学习鲁棒的几何表示，无需任何水下标注。我们还设计了一种跨视图一致性损失，利用其他视角的几何信息补偿当前视角因水体衰减和散射造成的信息退化。此外，为了弥补评估基准的不足，我们构建了Water3D数据集。实验表明，Wat3R在水下多视角深度估计和点云重建任务上均优于当前SOTA方法。

2. 方法动机分析

  • 驱动力：旨在解决数据受限环境下的泛化难题，使预训练的强几何先验模型（如VGGT）能适应复杂的水下视觉退化。
  • 痛点：现有前沿模型（如VGGT, DUSt3R）主要基于陆地数据集，直接迁移到水下因领域差异表现不佳；且水下环境极难获得高质量真实3D标注，阻碍了模型的直接微调。
  • 核心直觉：利用物理成像模型模拟水下退化提供“合成监督”以注入先验，结合海量无标注真实视频，通过跨视图一致性约束，让模型在无需真实标注的情况下“学会”识别水下退化并恢复几何结构。

3. 方法设计详解

  • 架构：采用 Mean Teacher 框架。学生网络通过真实视频学习，教师网络通过学生权重的EMA（指数移动平均）保持稳定，为学生提供伪标签监督。
  • 训练流程：
    1. 合成数据微调：基于物理模型 $I = J e^{-\beta^D z} + B^\infty(1-e^{-\beta^B z})$，将陆地RGB图像和深度图转换为合成水下数据，强制模型在有标注条件下初始化水下感知能力。
    2. 真实数据自监督：利用无标注水下视频，通过教师网络生成伪标签（深度、位姿、点云）。
    3. 几何一致性约束：
      • Per-view Loss：教师-学生间的几何属性对比。
      • Cross-view Consistent Loss：这是核心创新点。利用已知位姿和深度将教师视角的像素投影到其他视角，通过计算深度一致性来过滤动态物体和无效区域。
  • 关键算法：设计了一个静态掩码（Static Mask）。通过对深度图进行K-means聚类并检查视图间重投影误差，动态生成掩码 $M_i^{\text{static}}$，过滤掉浑浊区域、动态物体及几何不稳定点，仅保留可靠像素参与计算，从而消除水下复杂环境带来的噪声。

4. 方法对比分析

  • 本质区别：与传统“图像增强（UIE）+重建”的两阶段方案不同，Wat3R将水下退化视为几何学习的一部分，通过端到端学习隐式地恢复几何结构，避免了人为增强引入的信息缺失。
  • 创新点：引入跨视图一致性损失与静态掩码机制，利用视频的几何冗余性解决了“在无标注情况下如何提供可靠监控”的难题。

5. 实验分析

  • 关键结果：在Sea-thru和FLSea等数据集上大幅超越VGGT等基线，尤其在多视角深度估计任务中指标提升显著。
  • 优势：显著提升了重建的完整性与几何一致性；在极端可见度条件下，表现出比优化类算法（如COLMAP）更强的鲁棒性。
  • 局限：在极端湍流或大面积移动物体遮挡时，掩码可能过于激进，导致学习信号稀疏，影响性能。

6. 实用指南

  • 开源地址：https://github.com/LSXI7/Wat3R
  • 训练技巧：
    • 需先在合成数据上预热（warm-up），再逐步引入无标注视频。
    • 序列级增强（如随机打乱帧序、旋转等）对防止模型坍塌至关重要。
  • 迁移性：该框架高度模块化，可轻松适配至其他具有强大先验的几何基础模型（如论文中验证的 $\pi^3$），具有较强的泛化能力。

7. 总结

  • 核心思想：利用物理模拟与跨视图几何一致性，实现无标注水下场景下的强泛化3D重建。
  • 速记版pipeline：
    1. 生成物理模拟水下数据；
    2. 基于Mean Teacher进行跨视图半监督训练；
    3. 利用重投影误差剔除不稳定像素；
    4. 约束学生网络学习几何结构。

Key Findings:

  • In this paper, we propose Wat3R, a cross-domain semi-supervised learning framework designed to adapt feed-forward 3D reconstruction models from air to underwater scenes.
  • Uniquely, our method eliminates the need for any annotated underwater data following a teacher-student architecture, that learns robust geometry representations merely on abundant unlabeled real underwater video footage.
  • Experimental results demonstrate that Wat3R outperforms current state-of-the-art methods in underwater multi-view depth estimation and point cloud reconstruction.

Links:

LongE2V: Long-Horizon Event-based Video Reconstruction, Prediction, and Frame Interpolation with Video Diffusion Models

Authors: Cheng-De Fan, Chun-Wei Tuan Mu, Chen-Wei Chang, Chin-Yang Lin, Kun-Ru Wu, Yu-Chee Tseng, Yu-Lun Liu

Published: 2026-07-09

Categories: cs.CV

Abstract:

Recovering high-quality video from sparse event streams is a challenging task. Regression methods often blur textures, while existing generative models struggle with long-term stability. We propose LongE2V, a novel approach that leverages pre-trained video diffusion priors to jointly handle event-based video reconstruction, prediction, and frame interpolation. By fine-tuning a foundational video model, our approach achieves high data efficiency and superior perceptual quality. We introduce Autoregressive Unrolling and Adaptive Context Switching to mitigate temporal drift in extremely long sequences. We also propose Reencoding Alignment with Cross Residual Correction to ensure precise bidirectional consistency during frame interpolation. Furthermore, Event Voxel Density Augmentation ensures robustness across varying sensor resolutions. Extensive experiments on real-world benchmarks demonstrate that LongE2V outperforms state-of-the-art methods across all three tasks, exhibiting exceptional temporal coherence and zero-shot generalization. Project page: https://cdfan0627.github.io/LongE2V-page/

Analysis:

以下是对《LongE2V: Long-Horizon Event-based Video Reconstruction, Prediction, and Frame Interpolation with Video Diffusion Models》一文的深度分析。

1. 摘要翻译

恢复高质量视频从稀疏事件流中是一项具有挑战性的任务。回归方法往往导致纹理模糊，而现有的生成模型在长期稳定性上表现欠佳。我们提出了LongE2V，这是一种利用预训练视频扩散先验来联合处理基于事件的视频重建、预测和帧插值的新颖方法。通过微调基础视频模型，我们的方法在数据效率和卓越的感知质量方面取得了显著效果。

2. 方法动机分析

  • 驱动力：旨在解决现有事件驱动视频生成任务中，不同任务间缺乏统一架构，以及长期生成中存在的误差积累和伪影问题。
  • 痛点：回归模型（E2VID等）存在“回归到均值”导致的纹理模糊；现有扩散方法在长序列预测中会出现严重的颜色和时间漂移；且多数方法针对特定任务，缺乏灵活性。
  • 核心直觉：利用强大的预训练视频扩散模型（CogVideoX）作为先验，将事件流作为条件输入，并引入自回归机制与显式的时间对齐修正，以解决长时生成与零样本插值难题。

3. 方法设计详解

  • 流程总结：
    1. 事件编码：将事件流转换为三通道体素网格（Voxel Grid），适配视频扩散模型的输入。
    2. 条件注入：通过修改第一投影层（First Projection Layer）以容纳额外的事件维度，并使用LoRA对DiT骨干进行高效微调。
    3. 长期生成策略：
      • 自回归滚动（Autoregressive Unrolling）：将模型自身预测的帧作为下一时刻的上下文，并结合“迭代训练”消除训练与推理间的分布偏差。
      • 自适应上下文切换（Adaptive Context Switch）：根据注意力权重动态决定是否丢弃旧上下文，以此抑制长时间跨度下的误差积累。
    4. 插值修正：
      • 重编码对齐（Reencoding Alignment）：针对VAE潜在空间与像素空间翻转不一致问题，通过“解码-翻转-重编码”操作实现双向分支的精确对齐。
      • 交叉残差修正（Cross Residual Correction）：通过注入残差来补偿重编码带来的信息丢失，确保动态细节一致性。

4. 方法对比分析

  • 本质区别：与仅做重建或插值的模型不同，LongE2V是一个统一的生成框架；与直接推理不同，它引入了显式的自适应重编码逻辑。
  • 创新点：提出了针对长时生成的“自适应上下文切换”和针对插值对齐的“重编码对齐 + 交叉残差修正”。
  • 适用场景：高动态、长序列的事件驱动视觉恢复，尤其适用于缺乏真值监督的零样本插值任务。

5. 实验分析

  • 验证方法：在ECD、MVSEC、HQF及BS-ERGB数据集上进行对比实验。
  • 结论：LongE2V在重建任务中LPIPS指标最优，长时预测中克服了严重漂移，插值任务中展示了强大的零样本能力，消融实验证实了各组件对稳定性的贡献。

6. 实用指南

  • 开源情况：项目地址为 https://cdfan0627.github.io/LongE2V-page/。
  • 实现细节：
    • LoRA Rank=64，需全量微调First Projection Layer。
    • 自回归训练：先在GT上收敛，再进行迭代自回归Fine-tuning。
    • 插值时需配合“Per-tile Denoising and Fusion”以应对分辨率差异。
  • 迁移可能：该架构的“重编码对齐”和“交叉残差修正”逻辑可直接迁移至其他基于扩散的视频对齐任务中。

7. 总结

  • 核心思想：基于视频扩散先验，通过自回归滚动与显式动态对齐实现长时视频生成与插值。
  • 速记Pipeline：
    1. 事件流转体素编码；
    2. 扩展扩散模型投影层；
    3. 动态上下文滚动与切换；
    4. 解码器空间翻转对齐与残差修正。

Key Findings:

  • We propose LongE2V, a novel approach that leverages pre-trained video diffusion priors to jointly handle event-based video reconstruction, prediction, and frame interpolation.
  • By fine-tuning a foundational video model, our approach achieves high data efficiency and superior perceptual quality.
  • We introduce Autoregressive Unrolling and Adaptive Context Switching to mitigate temporal drift in extremely long sequences.
  • Extensive experiments on real-world benchmarks demonstrate that LongE2V outperforms state-of-the-art methods across all three tasks, exhibiting exceptional temporal coherence and zero-shot generalization.

Links:

Geometry and Gradient-based Partitioning for Panoramic Outdoor Reconstruction

Authors: Weijian Chen, Weibo Yao, Yuhang Zhang, Xiaolin Tang, Guo Wang, Weijun Zhang, Xitong Gao, Yihao Chen, Hongde Qin, Lu Qi

Published: 2026-07-09

Categories: cs.CV

Abstract:

Scaling 3D Gaussian Splatting (3DGS) to large outdoor scenes is costly in both data acquisition and computation. Adopting panoramic images with equirectangular projection (ERP) can reduce capture effort via their full $360^{\circ}$ field of view, yet the resulting omnipresent visibility invalidates existing partitioning strategies that rely on local camera frustums, causing block-wise optimization to degenerate into global training. Thus, we propose PanoLOG, a two-stage coarse-to-fine framework equipped with a Geometry and Gradient-based Partitioning Strategy tailored for large-scale panoramic 3DGS reconstruction. In the global coarse stage, PanoLOG leverages sky-sphere modeling and panoramic monocular depth supervision for reliable geometry, while in the refinement stage, G$^2$PS builds adaptive bounding volumes via parallax-driven uncertainty and assigns cameras via gradient-based importance scoring. Furthermore, we construct Pano360, the first benchmark on large-scale panoramic dataset for outdoor scene reconstruction. Extensive experiments demonstrate that G$^2$PS achieves state-of-the-art rendering quality while maintaining scalable, block-parallel training. Our models, training code, and dataset are publicly available.

Analysis:

1. 摘要翻译

扩展 3D 高斯泼溅 (3DGS) 到大型户外场景在数据获取和计算方面代价高昂。采用带有等距柱状投影 (ERP) 的全景图像虽能通过其 360° 视场减少拍摄工作量，但其带来的“无处不在的可见性”使得依赖局部相机平截头体的现有分区策略失效，导致分块优化退化为全局训练。因此，我们提出了 PanoLOG，这是一个包含几何与梯度分区策略 (G2PS) 的两阶段粗到精框架，专门用于大规模全景 3DGS 重建。

2. 方法动机分析

  • 驱动力：旨在解决大规模户外全景场景下，因缺乏针孔相机视场限制而导致的分区策略失效问题，实现高效、可扩展的 3DGS 重建。
  • 现有痛点：传统分区法（如基于视锥的剔除）无法应用于 ERP 全景图，因为全景图像在 360° 范围内都有可见性，导致分块优化失去判别力，最终退化为低效的全局优化。
  • 研究假设：通过引入深度先验（几何）和梯度贡献度（性能），可以构建一种新的判别式机制，将全景场景切分为相互关联但计算独立的子块。

3. 方法设计详解

  • Pipeline 总结：
    1. 阶段 I (全局粗训练)：利用所有输入进行全局优化，通过引入全景单目深度先验和显式天空球建模，建立稳定的几何框架，解决漂移和浮动伪影。
    2. 阶段 II (分块精细化)：应用 G2PS 进行分区和分配，然后在各个分块中独立并行优化。
  • 关键模块：
    • G2PS (分区与分配策略)：
      • 几何分区：根据相机分布和视差三角测量的不确定性，构建自适应轴对齐边界框 (AABB)，将无限场景收缩至有限空间，避免空块。
      • 梯度驱动分配：计算相机在每个分块中的梯度贡献度（Render Loss 梯度），将相机分配给贡献度高的分块，实现“结构化分区”。
    • 显式天空球 (Explicit Sky Sphere)：在远距离建模天空，通过冻结梯度防止其漂移至近场形成伪影。
    • 深度监督：利用 DAP 估计单目深度图，解决全景图像两极严重的拉伸导致 SfM 稀疏点云不可靠的问题。

4. 方法对比分析

  • 本质区别：与以往依赖几何重叠的分区不同，本项目引入了“梯度作为分配依据”的动态机制，这是对全景图“全方位可见性”特性的本质适配。
  • 创新点：将空间分区与相机训练贡献度关联，通过梯度评分有效解决了块间交叉可见的分配歧义。
  • 适用场景：大规模、全景式户外场景的静态场景建模。

5. 实验分析（精简版）

  • 验证方法：在 Pano360（自建）、Ricoh360 和 360Roam 上进行测试。
  • 关键结论：在保持较小模型尺寸的同时，PSNR 性能优于基线（如 CityGaussian），且在大范围复杂场景（城市/园区）中表现出色。
  • 主要优势：高 fidelity 渲染、极佳的计算效率、结构化的分块并行训练。
  • 主要局限：对动态物体（如行人、车辆）的处理仍依赖于静态假设，需预处理掩码。

6. 实用指南

  • 开源情况：已开源，可参考 官方主页。
  • 实现细节：关键超参数为 τgrad = 0.8；在块优化过程中需要执行 opacity reset 以修剪无效高斯。
  • 迁移可能：该梯度驱动分配策略可迁移至任何分块式 NeRF 或 Gaussian Splatting 系统中，处理非针孔相机带来的遮挡与冗余问题。

7. 总结

  • 核心思想：通过几何与梯度反馈构建动态自适应全景分块优化体系。
  • 速记版 pipeline：
    1. 训练全局基座及显式天空。
    2. 计算相机三角测量及各块的梯度贡献度。
    3. 动态将相机分配至对应子块。
    4. 分块并行细化并定期清理冗余。
    5. 合并各块实现最终重建。

Key Findings:

  • Thus, we propose PanoLOG, a two-stage coarse-to-fine framework equipped with a Geometry and Gradient-based Partitioning Strategy tailored for large-scale panoramic 3DGS reconstruction.
  • Extensive experiments demonstrate that G$^2$PS achieves state-of-the-art rendering quality while maintaining scalable, block-parallel training.

Links:

Enhancing In-context Panoramic Generation via Geometric-aware Pretraining

Authors: Haoran Feng, Ruiyang Zhang, Longyi Zhang, Dizhe Zhang, Lu Qi

Published: 2026-07-09

Categories: cs.CV

Abstract:

In this work, we present Canvas360, a two-stage framework for in-context panoramic generation that combines geometry-aware pretraining with downstream task-specific fine-tuning. To address the lack of large-scale, high-quality training data tailored to in-context panoramic tasks, we propose Canvas360Dataset, a collection of 1M high-quality paired panoramic samples for style transfer, inpainting, outpainting, and editing, enabling effective supervision across diverse in-context generation scenarios. On the modeling side, Canvas360 enhances text-to-panorama generation through parallel depth generation, velocity circular padding, and similarity loss regularization, enabling the model to learn geometry-aware representations, capture object distortion details, and improve geometric consistency and global coherence. Furthermore, empowered by strong panoramic priors, Canvas360 enables a unified in-context panoramic generation framework that supports diverse downstream tasks via token-level concatenation, surpassing prior methods in both task coverage and modeling flexibility. Extensive experiments show that Canvas360 improves panoramic image fidelity, achieving particularly strong performance on the panorama-specific FAED metric and competitive or leading results across the reported quantitative evaluations. More information can be found on our project page: https://zry000.github.io/Canvas360/

Analysis:

这是一篇关于利用几何感知预训练增强全景图生成能力的论文。以下是深度分析：

1. 摘要翻译

本文提出了Canvas360，一个用于上下文全景生成的两阶段框架，结合了几何感知预训练与下游任务特定微调。针对高质量全景训练数据的缺失，作者构建了Canvas360Dataset，包含100万个高质量的风格迁移、补全、修复和编辑配对样本。在建模层面，Canvas360通过并行深度生成、速度环形填充（velocity circular padding）及相似度损失正则化，增强了模型对全景几何的一致性和全局相干性。该方法在多个任务上优于现有模型，并在全景特有的FAED指标上表现显著。

2. 方法动机分析

  • 驱动力：旨在解决现有基于等距柱状投影（ERP）的全景图生成模型在处理复杂几何关系时出现的“扭曲”和“不一致”问题。
  • 现有痛点：以往方法多基于透视投影逻辑，直接应用在ERP上缺乏对球体几何的显式约束，导致编辑时接缝处不连续，且现有数据集缺乏任务驱动的配对数据。
  • 研究假设：通过显式的深度辅助几何预训练，配合针对环形结构的算子设计，可以引导模型内化球形空间先验，从而在无几何显式监督的微调阶段保持几何一致性。

3. 方法设计详解

  • 流程总结：
    1. 几何感知预训练：在100K RGB-深度图对上训练，通过并行生成深度信息，建立球体空间理解。
    2. 数据合成与微调：利用合成的1M数据集（包含补全、编辑等），通过Token级拼接（Token-level concatenation）输入上下文信息，将模型转化为多任务统一生成框架。
  • 模型结构：基于Flow Transformer架构。预训练阶段引入RGB分支和Depth分支，通过位置偏移（Positional offset）区分Token，并通过相似度损失防止两分支过度耦合。
  • 关键算法：
    • 速度环形填充 (Velocity Circular Padding)：在计算流匹配损失时，将ERP图像的左右边界通过“幽灵列（Ghost Columns）”同步，确保模型在学习速度场时显式地感知到$0^\circ$与$360^\circ$的连续性。
    • 相似度正则化：限制RGB预测与深度预测之间的过度相关性，保证特征的多样性和准确性。

4. 方法对比分析

  • 本质区别：不依赖于复杂的立方体映射（Cubemap）或昂贵的几何推理模块，而是将几何知识转化为预训练阶段的流场约束，实现“训练时学几何，推理时只看RGB”。
  • 创新贡献：提出一套完整的从数据构建（1M全景数据集）到训练策略（速度环形填充+深度并行训练）的闭环方案。
  • 适用场景：所有涉及等距柱状全景图的生成、补全、修改类任务。

5. 实验分析

  • 结论：在FAED（全景专有指标）上领先；在保持左-右边界连续性指标（LRCE-RGB）上表现最优。
  • 优势：生成的边缘连续性好，几何扭曲明显减少。
  • 局限：对超大分辨率的人脸或文本区域表现仍有改进空间；训练数据存在场景偏差。

6. 实用指南

  • 开源信息：项目主页：https://zry000.github.io/Canvas360/。
  • 实现细节：训练采用LoRA微调FLUX.1-dev；注意必须使用特定的深度后处理（截断超大值并归一化）；推理需使用分类器无关引导（CFG Scale 3.0）。
  • 迁移可能：该框架的“并行深度辅助+环形流匹配”策略可直接迁移至任何基于Diffusion/Flow的球幕图像生成模型中。

7. 总结

  • 核心思想：通过几何感知预训练将球形先验注入流匹配模型，实现几何一致性的全景生成。
  • 速记版pipeline：
    1. 预训练：RGB+Depth并行学习，注入球形环形先验。
    2. 微调：统一Token拼接输入，适应多种编辑指令。
    3. 推理：保持全景边界同步，生成无缝一致图像。

Key Findings:

  • In this work, we present Canvas360, a two-stage framework for in-context panoramic generation that combines geometry-aware pretraining with downstream task-specific fine-tuning.
  • To address the lack of large-scale, high-quality training data tailored to in-context panoramic tasks, we propose Canvas360Dataset, a collection of 1M high-quality paired panoramic samples for style transfer, inpainting, outpainting, and editing, enabling effective supervision across diverse in-context generation scenarios.

Links:

DexVerse: A Modular Benchmark for Multi-Task, Multi-Embodiment Dexterous Manipulation

Authors: Yunchao Yao, Zhuxiu Xu, Tianqi Zhang, Zixian Liu, Sikai Li, Zhenyu Wei, Feng Chen, Dihong Huang, Kechang Wan, Chenyang Ma, Shuqi Zhao, Shenghua Gao, Masayoshi Tomizuka, Yi Ma, Mingyu Ding

Published: 2026-07-09

Categories: cs.RO

Abstract:

Building general-purpose dexterous manipulation policies requires benchmarks that go beyond isolated tasks to systematically evaluate policies across diverse interaction modes, sensory conditions, and robot embodiments. However, existing benchmarks remain limited in task and data diversity, embodiment coverage, or controllable visual variation, hindering studies of cross-task and cross-embodiment generalization. We present DexVerse, a large-scale and modular benchmark for dexterous manipulation. DexVerse includes 100 tasks spanning a broad range of manipulation skills, including object grasping and relocation, articulated-object interaction, functional tool use, bimanual coordination, non-prehensile control, contact-rich behaviors, multi-goal execution, and long-horizon multi-stage task completion. It supports 3 robot arms and 6 dexterous hands, and is extensible to new tasks, assets, and embodiments. To evaluate visuomotor generalization, DexVerse provides configurable visual variations in textures, background, lighting, and camera viewpoints. We further provide a VR-based teleoperation interface and 3,180 demonstrations with synchronized proprioceptive, RGB, depth, point-cloud, and state observations. We benchmark representative methods, including Diffusion Policy, DP3, OpenVLA, and $π_{0.5}$, across 19 tasks. Results reveal substantial challenges in task generalization and visuomotor robustness, establishing DexVerse as a promising testbed for general-purpose dexterous manipulation. Project page: https://ycyao216.github.io/DexVerse.site

Analysis:

1. 摘要翻译

构建通用型灵巧操作策略需要超越单一任务的基准，以系统地评估策略在不同交互模式、感知条件和机器人实体中的表现。然而，现有的基准在任务和数据多样性、实体覆盖率或可控视觉变化方面存在局限，阻碍了对跨任务和跨实体泛化性的研究。我们提出了 DexVerse，一个大规模、模块化的灵巧操作基准。DexVerse 包含 100 个任务，涵盖了广泛的操作技能，包括物体抓取与重定位、铰接物体交互、功能性工具使用、双臂协调、非预抓取控制、接触丰富的行为、多目标执行以及长程多阶段任务完成。它支持 3 种机械臂和 6 种灵巧手，并可扩展至新的任务、资产和实体。为了评估视觉运动泛化能力，DexVerse 提供了在纹理、背景、光照和摄像机视角方面的可配置视觉变化。此外，我们提供了一个基于 VR 的遥操作接口和 3,180 个包含同步本体感觉、RGB、深度、点云和状态观测的演示数据集。我们在 19 个任务上对包括扩散策略（Diffusion Policy）、DP3、OpenVLA 和 $\pi_{0.5}$ 在内的代表性方法进行了基准测试。

2. 方法动机分析

  • 驱动力：构建能够处理各种复杂灵巧操作、具备跨实体与环境泛化能力的通用机器人智能体。
  • 现有方法痛点：现有基准（如 CALVIN, LIBERO）多集中于简单的平行夹爪操作，缺乏对灵巧手多自由度协调、高接触频率交互及复杂几何推理的支持；且在多实体支持、可控视觉变化和专家演示数据集的统一性上存在缺失。
  • 研究假设：通过提供模块化、多维度（视觉、 embodiment、任务）的基准平台，并引入高质量的多模态专家演示，能够有效度量并提升当前机器人策略在复杂灵巧任务上的泛化与鲁棒性。

3. 方法设计详解

  • 流程总结：
    1. 环境构建：基于 Isaac Lab，采用配置驱动设计，解耦任务逻辑与机器人实体。
    2. 数据采集：利用 Apple Vision Pro 的 VR 遥操作方案，结合基于优化算法的灵巧手 retargeting 转换人类动作。
    3. 多模态表示：通过统一的观测接口，将 RGB、深度、点云与本体状态同步，供策略学习。
    4. 基准评估：在 19 个核心任务上训练并对比主流策略（IL/VLA），测量成功率与泛化能力。
  • 关键架构：DexVerse 采用“底座环境 + 任务簇基类 + 任务特定覆盖”的继承架构，实现资产与逻辑的复用。
  • 算法意义：通过 3D 点云与状态空间的融合输入，解决了在接触丰富任务中对物体几何细粒度推理的难题。

4. 方法对比分析

  • 本质区别：DexVerse 不仅仅是一个数据集，而是一个支持“多臂-多手”组合的、具有物理与视觉随机化能力的完整仿真评估平台。
  • 创新贡献：统一了 100 个具有挑战性的任务分类标准，并提供了大规模的 VR 遥操作演示，填补了灵巧操作在多目标、长程任务上的基准空白。

5. 实验分析

  • 关键结论：当前最佳策略（DP3 和 $\pi_{0.5}$）的平均成功率仅为 34%，在工具使用和高精度任务上表现较差。
  • 主要优势：极高的多样性，能够从细粒度任务到长程多阶段任务全方位评估策略性能。
  • 主要局限：对极高精度（sub-centimeter）的对齐和持续力反馈任务，现有行为克隆方法表现几乎为零。

6. 实用指南

  • 开源情况：项目主页 https://ycyao216.github.io/DexVerse.site/。
  • 关键实现：基于 NVIDIA Isaac Lab，复现时需重点处理 VR 数据的 retargeting 及不同机器人实体的 URDF 配置。
  • 迁移建议：其模块化环境设计允许通过覆盖配置轻松添加新机器人末端，适合作为自定义灵巧任务的环境基底。

7. 总结

  • 核心思想：模块化、跨实体、大规模灵巧操作仿真基准。
  • 速记版pipeline：
    1. 选定手臂与灵巧手组合；
    2. 配置视觉/物理随机化参数；
    3. 运行闭环策略推理；
    4. 评估任务成功率；
    5. 记录多模态观测与动作轨迹。

Key Findings:

  • We present DexVerse, a large-scale and modular benchmark for dexterous manipulation.
  • It supports 3 robot arms and 6 dexterous hands, and is extensible to new tasks, assets, and embodiments.

Links:

ContactMimic: Humanoid Object Interaction via Contact Control

Authors: Xinyao Li, Xialin He, Runpei Dong, Saurabh Gupta

Published: 2026-07-09

Categories: cs.RO

Abstract:

Keypoint tracking alone is insufficient for object interaction tasks such as sitting on a chair, wiping a board, or pushing furniture, where the robot can reach the correct pose without making meaningful physical contact with the object. We present CONTACTMIMIC, a learning framework that tracks explicit partlevel binary contact commands alongside keypoint trajectories. CONTACTMIMIC is made possible through the use of contact-following rewards and a trajectory augmentation scheme aimed at breaking the correlations between keypoint trajectories and contact labels. The resulting policy successfully decouples contact behavior from keypoint geometry, and achieves precise physical contact as well as contact-controllability (produce or suppress contact during deployment as desired). Simulation experiments across 10 diverse human-object interaction motions confirm that CONTACTMIMIC exhibits contact controllability that enables it to complete manipulation tasks without task-specific rewards, while also outperforming keypoint-only trackers on contact-relevant tasks. Ablations confirm the necessity of the proposed trajectory augmentation scheme and sim2real deployment validates contact controllability in the real world across 5 different motions. Video results are available on https://lixinyao11.github.io/contactmimic-page/.

Analysis:

作为计算机视觉与机器学习领域的专家，我对这篇题为《ContactMimic: Humanoid Object Interaction via Contact Control》的论文分析如下：

1. 核心贡献总结

ContactMimic 提出了一种针对人形机器人交互任务的新型学习框架，通过引入显式的“部件级二值接触命令”来增强传统的关键点追踪方法。该方法成功实现了接触行为与关键点几何轨迹的解耦，使机器人不仅能完成复杂的交互任务，还具备了在部署过程中根据需求主动产生或抑制接触的“接触可控性”。

2. 核心创新与方法论

该论文的创新点在于解决了人形机器人交互中“运动学正确但交互无效”的顽疾，具体体现在：

  • 显式接触建模：除了传统的运动学关键点追踪，框架明确将接触信息作为控制信号的一部分，确保物理接触的发生。
  • 解耦训练策略：通过引入“接触跟随奖励（contact-following rewards）”和一种巧妙的“轨迹增强方案（trajectory augmentation scheme）”，打破了关键点轨迹与接触标签之间固有的相关性，从而允许机器人在关键点位置不变的情况下调整接触状态。
  • 接触可控性：赋予了策略在推理阶段动态调整接触需求的能力，这是传统模仿学习难以实现的灵活性。

3. 对领域的潜在影响

对于计算机视觉与具身智能（Embodied AI）领域，这篇论文具有重要的启示意义：

  • 从“视觉跟随”到“力反馈感知”的跨越：视觉领域的关键点追踪往往关注空间坐标，而该研究通过引入触觉概念的语义标签，将视觉轨迹引导与物理交互逻辑有机结合。
  • 通用交互范式：通过摆脱任务特定的奖励函数（task-specific rewards），证明了学习接触动力学比单纯模仿视觉轨迹更具泛化潜力，为通用的机器人操作策略提供了新路径。

4. 相关领域与受益应用

  • 家政机器人（Service Robots）：如论文提到的坐椅子、擦桌子、移动家具等场景，需要高精度的接触控制以避免碰撞或滑脱。
  • 精密辅助与康复：在需要精细操控对象的应用中，该技术能有效提升交互的可靠性。
  • 人类动作捕捉与重定向（Motion Retargeting）：对于需要将人类动作映射到机器人身上且必须保持物理约束的任务，此方法具有显著优势。

5. 可推断的局限性

尽管该方法在模拟和初步实机部署中表现出色，但从摘要可推断出以下潜在局限：

  • 二值化接触的局限性：摘要中提到的是“二值接触（binary contact）”，但在复杂的现实环境中，接触往往涉及力度大小、摩擦系数及接触面积（连续变量），二值标签可能在精细操作（如捏取物体）上略显粗糙。
  • 环境依赖性：尽管其轨迹增强方案能提高鲁棒性，但如何处理未见过的复杂物体几何结构或极端的物理属性差异（如滑动表面），可能仍是该框架的挑战。
  • 感知的延迟与精度：实机部署要求极高的视觉追踪精度与接触检测的实时性，若视觉系统在遮挡或光照变化下出现偏差，可能直接影响接触命令的执行质量。

专家总结： 这篇论文的趣味性在于它揭示了一个事实——“位置对了不代表接触对了”。它通过算法手段将物理接触这一“隐变量”显性化，是弥合机器人视觉感知与物理交互之间鸿沟的关键一步，非常有希望成为未来人形机器人通用操作策略的基准范式之一。

Key Findings:

  • We present CONTACTMIMIC, a learning framework that tracks explicit partlevel binary contact commands alongside keypoint trajectories.

Links:

ARDY: Autoregressive Diffusion with Hybrid Representation for Interactive Human Motion Generation

Authors: Kaifeng Zhao, Mathis Petrovich, Haotian Zhang, Tingwu Wang, Siyu Tang, Davis Rempe

Published: 2026-07-09

Categories: cs.GR, cs.CV, cs.LG, cs.RO

Abstract:

Generating realistic 3D human motions in real-time within interactive applications is key for animation, simulation, and humanoid robotics. While recent offline motion generation approaches offer precise control via text and kinematic constraints, they lack the inference speed required for interactive settings. Conversely, existing online methods enable real-time synthesis but often sacrifice controllability or struggle with complex text semantics and long-horizon goals due to limited context windows. In this work, we introduce ARDY, a streaming generation framework that bridges this gap by enabling high-fidelity motion generation controllable via online text prompts and flexible kinematic constraints. ARDY employs a hybrid representation that combines explicit root features with a latent body embedding, balancing precise trajectory control with efficient generative learning. We propose a two-stage autoregressive transformer denoiser that features variable history context and supports conditioning on flexible, long-horizon kinematic constraints. By training on a large-scale motion capture dataset and being directly conditioned on text labels and kinematic constraints sampled from ground truth poses, ARDY natively learns controllable generation that supports online prompting and flexible long-horizon goals. Extensive evaluations on the HumanML3D benchmark and the large-scale, high-fidelity Bones Rigplay dataset demonstrate ARDY's high motion quality and constraint adherence, validating the efficacy of our key architectural decisions. Finally, we demonstrate the method's practical versatility through an interactive demo featuring dynamic text control, diverse keyframe pose constraints, path following, and interactive locomotion control via mouse and keyboard. Supplementary video results, code, and model releases can be found at https://research.nvidia.com/labs/sil/projects/ardy/.

Analysis:

1. 摘要翻译

本文介绍了ARDY，一种专为交互式人体运动生成设计的自回归扩散模型。我们的方法通过在线文本提示和灵活的运动学约束（包括根节点航点与轨迹、全身关键帧以及稀疏关节位置和旋转）支持长程运动合成。ARDY通过结合显式根特征和潜在身体嵌入的混合表示，平衡了精确的轨迹控制与高效的生成学习。通过4步扩散模型，系统实现了约33毫秒的平均生成延迟，能够处理复杂的长程语义指令并实时响应用户输入。

2. 方法动机分析

  • 驱动力：在实时动画、游戏及机器人仿真中，现有的生成模型往往在“精确控制力”与“推理速度”之间难以取舍，ARDY旨在构建一个既能响应实时交互，又能忠实执行长期 kinematic（运动学）约束的生成框架。
  • 现有方法痛点：
    • 离线方法：虽然控制力强（可接受文本和约束），但生成速度慢，无法实时交互。
    • 现有在线方法：速度快但缺乏可控性，且由于上下文窗口限制，无法处理复杂的长期目标或长程文本语义。
  • 研究假设：预测身体运动的潜在空间表示（latent representation）在给定显式且解耦的根节点（root）特征的条件下，会显著降低生成难度并提高精度。

3. 方法设计详解

  • 流程总结：
    1. 运动标记化（Tokenizer）：使用编码器将身体运动压缩为潜在空间 tokens，与显式根特征拼接形成“混合表示”。
    2. 两阶段去噪（Two-Stage Denoiser）：
      • Root Transformer：首先预测干净的全局根轨迹。
      • Body Transformer：基于第一步预测的干净根特征，预测潜在身体 tokens。
    3. 重建与输出：解码器将混合 tokens 还原为显式人体关节运动。
  • 模型结构：采用了两阶段交叉影响的 Transformer 架构，确保根轨迹与身体动作在每一步去噪中保持同步。
  • 算法逻辑：利用“遮蔽重写（masked overwriting）”技术，将 kinematic 约束作为 masked 序列输入模型，使模型天然学习到在生成过程中对特定帧进行“强制归位”的能力。

4. 方法对比分析

  • 本质区别：ARDY 引入了混合表示（Hybrid Representation），将全局根轨迹设为显式，而将复杂身体姿态设为潜在空间，这种解耦机制既保留了全局空间控制的灵活性，又降低了生成模型的参数负担。
  • 创新贡献：
    1. 两阶段交错式去噪架构，解决了根轨迹漂移与身体姿态不协调的矛盾。
    2. 支持超长程约束（甚至超出当前生成窗口的未来目标），无需额外的强化学习策略。
  • 适用场景：实时游戏控制、人机交互动画、人形机器人轨迹规划。

5. 实验分析

  • 验证方法：在 HumanML3D 基准测试与大规模私有 Bones Rigplay 数据集上进行评估。
  • 关键结论：在保持实时响应的前提下，ARDY 在长程目标跟踪任务上的误差显著低于现有的 DiP 等方法。
  • 主要优势：极低的生成延迟（33ms）与极强的约束遵从性。
  • 主要局限：作为纯运动学模型，缺乏物理动力学感知，偶尔会出现足部滑动或抖动现象。

6. 实用指南

  • 开源情况：代码及模型可在官方主页下载：https://research.nvidia.com/labs/sil/projects/ardy/
  • 实现细节：
    • Tokenizer 默认采用 FSQ (Finite Scalar Quantization) 方案以保证训练稳定性。
    • 必须使用“Latency-Aware Replanning”策略（重规划缓冲），以便在推理延迟超过帧间隔时维持流畅性。
  • 迁移可能：两阶段解码的架构非常适合迁移到需要“宏观轨迹+微观动作”双重控制的任何任务（如车辆自动驾驶导航与车内动作生成）。

7. 总结

  • 核心思想：显式根节点控制与潜在身体表示的解耦及两阶段自回归协同生成。
  • 速记版pipeline：
    1. 把运动切片并转换为潜在码；
    2. 预测根轨迹并在其引导下预测身体状态；
    3. 利用重写机制强行满足用户约束；
    4. 用重规划缓冲区隐藏计算延迟。

Key Findings:

  • In this work, we introduce ARDY, a streaming generation framework that bridges this gap by enabling high-fidelity motion generation controllable via online text prompts and flexible kinematic constraints.
  • We propose a two-stage autoregressive transformer denoiser that features variable history context and supports conditioning on flexible, long-horizon kinematic constraints.
  • Finally, we demonstrate the method's practical versatility through an interactive demo featuring dynamic text control, diverse keyframe pose constraints, path following, and interactive locomotion control via mouse and keyboard.

Links:

Learning Adaptive Solvers for Distributed Factor Graph Optimization on Matrix Lie Groups

Authors: Jaeho Shin, Maani Ghaffari, Yulun Tian

Published: 2026-07-09

Categories: cs.RO

Abstract:

Modern robotic perception increasingly involves large-scale geometric optimization problems distributed across multiple robots or sessions. However, existing distributed solvers often depend on brittle hand tuning and primarily target rigid body pose graphs. To address this, we present DeepCORD, a learning-augmented framework for distributed factor graph optimization on general matrix Lie groups. By unfolding a parallel and accelerated Riemannian optimizer into differentiable iterations, DeepCORD learns a self-supervised feedback policy that dynamically adapts solver parameters according to the optimization phase and communication status. The resulting method enables adaptive distributed optimization over matrix Lie groups under both synchronous and asynchronous communication regimes. Extensive experiments on real-world $\mathrm{SE}$(3) pose graph optimization and $\mathrm{SL}$(4) projective submap alignment show that our method achieves lower objective values than existing distributed baselines on most benchmarks across realistic operating scenarios.

Analysis:

这是一份关于论文《Learning Adaptive Solvers for Distributed Factor Graph Optimization on Matrix Lie Groups》的深度分析。

1. 摘要翻译

现代机器人感知往往涉及跨多个机器人或会话的分布式大规模几何优化问题。然而，现有的分布式求解器往往依赖于脆弱的手动调参，且主要针对刚体位姿图。为此，我们提出了 DeepCORD，一个用于矩阵李群上分布式因子图优化的学习增强框架。通过将并行且加速的黎曼优化器展开为可微分迭代，DeepCORD 学习了一种自监督反馈策略，该策略根据优化阶段和通信状态动态调整求解器参数。该方法实现了在同步和异步通信机制下，跨矩阵李群的自适应分布式优化。在真实世界 SE(3) 位姿图优化和 SL(4) 投影子图对齐方面的广泛实验表明，我们的方法在大多数基准测试的实际运行场景中均能达到比现有分布式基线更优的目标函数值。

2. 方法动机分析

  • 驱动力：分布式优化中算法参数（如阻尼、步长、质量矩阵）高度依赖人工调试，且难以跨不同拓扑结构、噪声水平和通信环境迁移。
  • 痛点：现有方法（如 CORD）虽然原则上强大，但对参数极其敏感，一旦环境变化（如异步延迟增加），算法性能会急剧下降或收敛变慢。
  • 核心假设：可以通过学习一个针对局部优化上下文（Local Optimization Context）的反馈策略，动态预测算法参数，从而使求解器在保持几何原理的同时具备鲁棒性。

3. 方法设计详解

  • 流程总结：
    1. 构建增益图（Augmented Graph）：每个机器人不仅维护自己的子图，还通过两跳（2-hop）邻居信息构建局部增强图。
    2. 特征编码：利用多层感知机（MLP）和 GPS 层提取节点（速度、梯度、通信延迟）、边（残差、精度）和图级（收敛速度、残差范数）特征。
    3. 自适应参数预测：通过策略网络 $\pi_\theta$ 根据特征实时输出当前的质量矩阵 $m$、阻尼系数 $d$ 和步长 $\Delta t$。
    4. 模型更新：将预测的参数代入 CORD 的动力学方程（等式 4-5）进行迭代。
  • 算法关键：将原本“死板”的常数参数转变为基于局部状态预测的动态变量。利用**深度展开（Deep Unfolding）**技术，将复杂的迭代过程转化为可微计算图，通过反向传播（基于隐函数定理计算 Hessian 逆）实现端到端的自监督学习。

4. 方法对比分析

  • 本质区别：从“手动调参”转型为“参数策略学习”。CORD 是其基础动力学框架，DeepCORD 是其“控制器”。
  • 创新贡献：引入了基于局部图特征的自监督反馈机制，不仅提高了收敛速度，更重要的是增强了面对异步通信延迟时的鲁棒性。
  • 适用场景：多机器人协同 SLAM、大规模分布式几何优化、强噪声下的鲁棒性需求场景。

5. 实验分析

  • 结论：在 SE(3) 位姿图和 SL(4) 子图对齐实验中，DeepCORD 在大部分基准测试（如 Rim, Grid, TUM 数据集）中均优于 CORD、AMM-PGO 等基线。
  • 优势：显著提升了在异步通信（延迟、丢包）环境下的表现，且具备良好的跨尺度泛化能力（如在 500 节点训练，在 10000 节点上依然有效）。
  • 局限：对“小残差、大误差”的场景判断有时会过早进入精细优化阶段（即变得过于保守）。

6. 实用指南

  • 训练注意：训练时需关注单调性正则化项（避免发散）和阻尼衰减策略；计算 Hessian 逆时需采用稀疏共轭梯度法（PCG）以保证效率。
  • 迁移建议：DeepCORD 的框架具备通用性，只需替换底层的 Lie 群动力学模型，即可迁移至其他几何优化问题，如双视图重建或大规模捆绑调整（Bundle Adjustment）。

7. 总结

  • 核心思想：将分布式求解器的超参数交由图神经网络根据实时上下文动态决策。
  • 速记版 Pipeline：
    1. 汇集邻居信息形成局部图；
    2. 图网络编码机器人状态；
    3. 预测求解器参数；
    4. 执行一步几何优化迭代。

Key Findings:

  • To address this, we present DeepCORD, a learning-augmented framework for distributed factor graph optimization on general matrix Lie groups.
  • Extensive experiments on real-world $\mathrm{SE}$(3) pose graph optimization and $\mathrm{SL}$(4) projective submap alignment show that our method achieves lower objective values than existing distributed baselines on most benchmarks across realistic operating scenarios.

Links:

Native Video-Action Pretraining for Generalizable Robot Control

Authors: Qihang Zhang, Lin Li, Luyao Zhang, Shuai Yang, Yiming Luo, Shuaiting Li, Ruilin Wang, Junke Wang, Jiahao Shao, Gangwei Xu, Jiaming Zhou, Yishu Shen, Yudong Jin, Fangyi Xu, Shuailei Ma, Jiaqi Liao, Guanxing Lu, Zifan Shi, Yongkun Wen, Yujie Zhao, Weixuan Tang, Xinyang Wang, Chaojian Li, Jiapeng Zhu, Ka Leong Cheng, Nan Xue, Xing Zhu, Yujun Shen, Yinghao Xu

Published: 2026-07-09

Categories: cs.RO, cs.CV

Abstract:

The advent of video-action models offers a promising path for robot control. Nevertheless, we argue that repurposing video generative models designed for digital content creation is inherently inadequate for physical environments. To bridge this gap, we present LingBot-VA 2.0, a video-action foundation model built from the ground up for embodiment. Four core design principles showcase its evolution from LingBot-VA. (1) Departing from traditional reconstruction-focused VAEs, we introduce a semantic visual-action tokenizer, which aligns visual representations with both semantics and actions, improving instruction following and action precision in subsequent policy learning. (2) Given the strictly causal nature of temporal dynamics, we adopt a causal pretraining paradigm, training from scratch to circumvent the catastrophic forgetting that frequently occurs when adapting bidirectional architectures. (3) To meet the demands of high-frequency inference, our model employs a sparse MoE backbone, expanding model capacity without compromising efficiency. (4) Real-time closed-loop control is realized through an enhanced asynchronous inference scheme, which predicts future latents in parallel with action execution while re-grounding each rollout on the latest observation via learned forward dynamics. Real-world deployment validates LingBot-VA 2.0 as a robust foundation model, as evidenced by its few-shot generalization across complex manipulation tasks.

Analysis:

1. 摘要翻译

视频生成模型为机器人控制提供了新途径，但直接利用为数字创作设计的通用模型在物理环境表现欠佳。为此，我们提出了LingBot-VA 2.0，这是一个专为机器人实施（Embodiment）从零构建的视频-动作基础模型。其核心设计包括：(1) 引入语义视觉-动作分词器（Semantic Visual-Action Tokenizer），将视觉表示与语义和动作对齐；(2) 采用因果预训练范式（Causal Pretraining Paradigm），避免双向架构适应时的灾难性遗忘；(3) 使用稀疏混合专家（MoE）骨干网，在扩大模型容量的同时保持高频推理效率；(4) 通过**增强型异步推理机制（Asynchronous Inference Scheme）**实现实时闭环控制，利用前向动力学对每次规划进行重定锚（Re-grounding）。实验表明，LingBot-VA 2.0在复杂操纵任务中表现出强大的少样本泛化能力。

2. 方法动机分析

  • 驱动力：现有的视频-动作模型多为“补丁式”设计（基于通用视频生成骨干网+后加动作模块），导致物理动力学结构与视频生成目标存在本质冲突。
  • 现有方法痛点：1) 像素级重建导致语义与动作对齐较差；2) 双向注意力机制不符合闭环控制的因果属性；3) 通用视频预训练缺乏动作对世界演变影响的认知；4) 推理延迟高，难以支持真实机器人高频闭环运行。
  • 研究假设：通过在共享的语义隐空间内原生训练因果动力学模型，而非对通用模型进行迁移学习，能够获得更好的控制精度与泛化性。

3. 方法设计详解

  • 语义视觉-动作分词器 (SemVAE)：抛弃纯像素重建，通过视觉基础模型（如Perception Encoder）进行语义对齐，并使用逆动力学（IDM）从视频中提取紧凑的动作变量。
  • 因果DiT架构：采用因果注意力掩码替代双向注意力，确保预测符合时间流向。
  • 多任务联合预训练：同时包含T2I（文生图）、T2V（文生视频）、TI2VA（文导视频动作）、ICL（上下文学习）和HCT（人机协作训练），通过“课程学习”策略由浅入深优化模型。
  • Foresight Reasoning (异步推理)：这是实现高频控制的关键。将推理分为“预测流”和“执行流”。当机器人执行当前动作块时，模型预测下一动作块。为防止漂移，利用前向动力学模型在每次接收真实观测后，对预测轨迹进行重定锚（Correction）。

4. 方法对比分析

  • 本质区别：从“基于通用视频生成器适配”转向“原生因果视频-动作堆栈预训练”。
  • 创新贡献：引入MCP（多块预测）增强轨迹级动力学捕捉；通过Foresight Reasoning解决模型延迟与控制频率之间的矛盾。
  • 适用场景：高精度的长序列机器人操作任务，尤其是需要泛化到陌生任务场景的任务。

5. 实验分析

  • 验证方法：在RoboTwin仿真 benchmark 及 Fruit Sorting 等复杂实机任务上进行评估。
  • 关键结果：在RoboTwin上平均成功率达到93.6%，显著优于现有基线（如$\pi_{0.5}$）。
  • 主要优势：极高的控制频率（225Hz）及优异的长视距操纵能力。
  • 主要局限：对计算资源需求较高，虽采用MoE和蒸馏技术，但仍依赖较强的算力支撑。

6. 实用指南

  • 开源情况：见项目主页 https://technology.robbyant.com/lingbot-va-v2
  • 实现细节：建议关注MoE的“Loss-Free Balancing”策略以避免专家过载；异步推理的重定锚逻辑是解决预测漂移的关键。
  • 迁移可能：视觉分词器的语义对齐思想可广泛应用于其他具身智能模型中。

7. 总结

  • 核心思想：原生因果动力学预训练，通过异步推理与语义对齐实现高性能机器人控制。
  • 速记版pipeline：
    1. 语义分词：将视觉与动作对齐到统一隐空间。
    2. 因果预训练：在视频数据上训练因果模型，掌握动力学。
    3. 分层规划：VLM进行任务拆解与指令生成。
    4. 异步预测：预测与执行并行，实时根据观测重定锚。
    5. 蒸馏加速：通过一致性蒸馏实现实时闭环推理。

Key Findings:

  • To bridge this gap, we present LingBot-VA 2.0, a video-action foundation model built from the ground up for embodiment.
  • (1) Departing from traditional reconstruction-focused VAEs, we introduce a semantic visual-action tokenizer, which aligns visual representations with both semantics and actions, improving instruction following and action precision in subsequent policy learning.

Links:

Whareformer: Learning to Track What is Where in Long Egocentric Videos

Authors: Jacob Chalk, Saptarshi Sinha, Dima Damen, Yannis Kalantidis, Diane Larlus

Published: 2026-07-09

Categories: cs.CV

Abstract:

The recently established 'Out of Sight, Not out of Mind' (OSNOM) task for egocentric videos focuses on tracking objects that are moved by the camera wearer, online, maintaining knowledge of instance locations throughout the video even when they leave the field of view or become heavily occluded. In this paper, we propose the first learning-based solution to the OSNOM task: Whareformer, a transformer-based model with two components: an updatable memory of established tracks and a track assignment module that associates observations with existing tracks in a feed-forward manner. Whareformer jointly reasons over evolving object appearance (what) and updated 3D location (where), and employs a dedicated New Track token to reason about novel objects. Thanks to its design choices of using relative distances and evolving track representations, Whareformer is trained on a small set of 56 videos but achieves SOTA performance on 260 long test videos from three datasets: EPIC-KITCHENS-100 (unseen videos), IT3DEgo, and HD-EPIC, with significant absolute improvements over prior work.

Analysis:

作为计算机视觉领域的专家，我针对 Whareformer 这篇论文的分析如下：

1. 核心贡献总结

Whareformer 是首个针对“脱离视野（Out of Sight, Not out of Mind, OSNOM）”任务的深度学习解决方案。该模型通过结合可更新的内存机制与前馈式关联模块，实现了对长时第一视角（Egocentric）视频中物体状态的持续追踪，即便物体离开视野或被遮挡，系统仍能维持其位置记忆。

2. 关键创新与方法论

该论文的创新点主要体现在以下三个方面：

  • 统一的“是什么”与“在哪里”推理： 传统追踪算法通常侧重于框定视野内的物体，而 Whareformer 将物体外观变化（What）与 3D 空间位置（Where）的演进进行联合建模。
  • 高效的前馈关联架构： 模型通过“可更新内存（Updatable Memory）”存储已确立的轨迹，并利用“轨迹分配模块（Track Assignment Module）”将观测到的物体与现有轨迹进行关联，避免了传统追踪中复杂的启发式后处理。
  • New Track Token 设计： 受 Transformer 架构启发，通过专用的 Token 处理机制，模型能够自动识别并实例化视频中出现的新物体，显著提升了对动态场景的适应性。

3. 对领域的潜在影响

  • 突破“视野局限”： 此前第一视角视觉研究多受限于相机视域（FOV）。Whareformer 的成功证明了通过小样本学习即可实现对空间位置的长期记忆，为具身智能（Embodied AI）提供了核心的空间认知组件。
  • 范式转变： 证明了即便在长视频中，通过设计合理的时序记忆机制，仅需少量训练数据（56个视频）即可在多个复杂数据集（如 EPIC-KITCHENS-100）上达到 SOTA，这对于解决标注稀缺的长视频理解问题具有重要的参考意义。

4. 潜在的应用领域

  • 具身智能与家用机器人： 机器人需要记住物体的空间位置（例如“钥匙在厨房抽屉里”），即使它当前正背对着该位置。
  • 增强现实（AR）： 在 AR 辅助系统中，用户可以通过记忆查询的方式快速找到此前互动过的虚拟或真实物体。
  • 智能生活日志（Lifelogging）： 自动整理用户的日常活动，帮助回顾和定位曾接触过的物品。

5. 潜在的局限性推断

  • 3D 空间推理的依赖性： 尽管模型在相对距离上表现良好，但对于复杂动态环境（如非刚体形变、环境的持续演变），模型对 3D 位置的预测可能存在累积误差。
  • 算力成本与实时性挑战： 随着视频时长的增加，维护长时“内存”的复杂度和计算开销是否会线性增长，以及在边缘计算设备上实现长时推理的延迟问题，是该模型需要面对的工程挑战。
  • 遮挡处理的上限： 虽然能处理遮挡，但在长时间极度遮挡或场景剧烈变动（如相机剧烈抖动、光照突变）的情况下，模型维持身份的一致性（Re-identification）仍可能面临严峻考验。

总结： Whareformer 极具趣味性的地方在于它挑战了“计算机视觉即对当前帧处理”的传统直觉，转而构建了一种具备“物体恒存性（Object Permanence）”认知的视觉系统，这是迈向更高级人类水平感知的重要一步。

Key Findings:

  • In this paper, we propose the first learning-based solution to the OSNOM task: Whareformer, a transformer-based model with two components: an updatable memory of established tracks and a track assignment module that associates observations with existing tracks in a feed-forward manner.
  • Whareformer jointly reasons over evolving object appearance (what) and updated 3D location (where), and employs a dedicated New Track token to reason about novel objects.

Links: