Arxiv Computer Vision Papers - 2026-07-16

Executive Summary

每日报告执行摘要：2026-07-15 Arxiv 计算机视觉论文

一、主要主题与趋势

本日10篇论文呈现出三大核心趋势：

• 具身智能与机器人操作（论文1、4、5、7）：聚焦开放世界移动操作、语言纠错、灵巧操作基准以及从单次演示学习技能，表明视觉驱动的机器人自主性正从实验室走向工业与真实场景。
• 视频生成与修复（论文2、3）：工业级生成式视频修复（LPM）与利用视频基础模型进行生成建模（VideoRAE）代表了两条不同路径：大规模工程化应用 vs. 表示学习范式的创新。
• 感知与推理的深度整合（论文6、8、9、10）：涵盖重杂波下的检测跟踪、协同感知验证、自我中心程序理解以及“空间超感知”，反映出对实时性、鲁棒性和上下文理解的高要求。

二、最具创新性或重要性的论文

• 论文1（Mi et al.）提出“探索-沟通-可部署”三位一体的视觉驱动具身代理，面向开放世界移动操作，是系统性解决自主机器人实用性的重要尝试。
• 论文3（Xie et al.）的VideoRAE引入表示自编码器来“驯服”大规模视频基础模型，在不牺牲生成质量的前提下实现高效建模，为视频生成提供新范式。
• 论文6（Gan et al.）的PiVoT采用变分解法解决重杂波下的大规模多目标检测与跟踪问题，兼顾实时性与准确性，在监控、自动驾驶等场景有直接价值。

三、新兴研究方向或技术

• 语言交互驱动的机器人纠错（论文4）：通过自然语言实时修正机器人行为，开启人机协作新方式。
• 从未完成演示中学习前向/反向技能（论文7）：降低机器人学习对完美示范的依赖，增强任务适应性。
• 自我中心程序理解与自我技能探索（论文9）：Egocentric VQA与内在动机结合，推动具身智能体在复杂环境中自主学习。
• “空间超感知”（论文10）：在野外场景超越传统空间感知极限，可能融合多模态先验与扩散模型。

四、建议全文阅读的论文

优先级	论文	推荐理由
⭐⭐⭐	论文1 开放世界移动操作	具身智能领域综合进展，方法学与系统设计兼具参考价值
⭐⭐⭐	论文3 VideoRAE	视频生成基础模型的新型表示学习框架，影响深远
⭐⭐⭐	论文6 PiVoT	解决重杂波下实时检测跟踪的实际难题，实用性强
⭐⭐	论文4 语言纠错机器人	人机交互设计新颖，适合科研与工程交叉
⭐⭐	论文9 EgoProceVQA	自我中心理解的新任务定义，促进具身推理研究

以上摘要旨在帮助研究人员快速把握本日论文的核心贡献与前沿方向。如需深入讨论某篇论文，可进一步交流。

---

Table of Contents

1. Exploratory, Communicative, and Deployable: Vision-Driven Embodied Agents for Open-World Mobile Manipulation
2. LPM: Industrial-Scale Generative Video Restoration
3. VideoRAE: Taming Video Foundation Models for Generative Modeling via Representation Autoencoders
4. PhysClaw-0: A Symbiotic Agentic System for Robot Autonomy via Language Corrections
5. Industrial Dexterity Benchmark: A Hardware-Software Benchmarking Platform for Industrial Dexterous Manipulation
6. PiVoT: A Variational Solution for Real-time Large-scale Multi-object Detection and Tracking under Heavy Clutter
7. Learning Forward & Reverse Skills from a Single Unfinished Demonstration for Constrained Manipulation Tasks
8. A Deployed Hybrid Vehicle-in-the-Loop Platform for Validating Cooperative Perception
9. EgoProceVQA: A Novel Egocentric Procedural Understanding Task with Self-Skill-Exploration Agent
10. Towards Spatial Supersensing in the Wild

---

Papers

Exploratory, Communicative, and Deployable: Vision-Driven Embodied Agents for Open-World Mobile Manipulation

Authors: Boyu Mi, Mengchen Ma, Yifei Yao, Xing Gao, Junting Chen, Yangzi Li, Zihou Zhu, Guohao Li, Zhenfei Yin, Tai Wang, Yao Mu, Jiangmiao Pang, Hanqing Wang

Published: 2026-07-15

Categories: cs.CV, cs.RO

Abstract:

Real-world deployment of embodied agents requires active exploration, visual grounding, and interactive intent disambiguation. However, existing frameworks often rely on privileged simulator states or assume complete instructions, bypassing realistic deployment challenges. To bridge this gap, we present REAL, an agentic framework for open-world mobile manipulation. REAL establishes sim-to-real-consistent environment APIs without oracle perception and integrates a simulated user to enable human-in-the-loop interaction. Within this environment, we design diverse task compositions to drive data collection, supervised fine-tuning, and online reinforcement learning, systematically optimizing agent performance. To comprehensively evaluate this approach, we introduce REAL-Bench, a benchmark spanning 241 tasks across active exploration, visual distraction, articulated manipulation, and interactive disambiguation. Experimental results demonstrate that our trained agent outperforms leading commercial closed-source VLMs on interactive tasks with a 56.9% success rate. Further empirical analysis reveals that our hierarchical training pipeline successfully aligns the model's tool-use capabilities while maintaining robust open-vocabulary reasoning under extended exploration horizons. Finally, we deploy and evaluate our framework on a physical dual-arm mobile robot, where it achieves a 78.3% end-to-end success rate over 60 real-world episodes. These physical trials demonstrate robust zero-shot transferability to unseen household scenarios, validating that our sim-to-real-consistent design successfully bridges the reality gap for long-horizon mobile manipulation. Code is available at https://github.com/InternRobotics/REAL.

Analysis:

作为计算机视觉与具身智能（Embodied AI）领域的专家，我对这篇论文《Exploratory, Communicative, and Deployable: Vision-Driven Embodied Agents for Open-World Mobile Manipulation》的分析如下：

1. 论文贡献总结

该论文提出了 REAL 框架，旨在解决具身智能体在开放世界中执行移动操作任务时，缺乏现实部署能力、交互意图模糊以及对特权仿真状态（Oracle States）过度依赖的问题。通过构建一套“模拟-真实”一致的API体系及相应的评估基准 REAL-Bench，该研究实现了从仿真训练到物理机器人零样本部署的无缝衔接，显著提升了机器人在长周期任务中的执行成功率。

2. 核心创新与方法论

• Sim-to-Real Consistency（仿真与现实一致性）： 摒弃了传统的特权状态输入，建立了一套仅依赖视觉感知的环境API，确保在仿真中训练出的行为策略能够直接迁移到物理实体上。
• 人机交互闭环（Human-in-the-loop）： 引入模拟用户（Simulated User）机制，使智能体能够主动进行意图消歧（Intent Disambiguation），在指令不明确时通过交互获取信息，这是解决真实世界任务模糊性的关键。
• 分层训练管线： 结合数据采集、监督微调（SFT）与在线强化学习，优化了智能体的工具使用能力与长视野（Long-horizon）推理能力。
• REAL-Bench： 提供了一个涵盖241个任务的综合基准，重点考察主动探索、视觉干扰排除及复杂操作能力，填补了当前评估体系中对交互性与鲁棒性考量的空白。

3. 对领域的潜在影响

• 打破“模拟器依赖”瓶颈： 证明了通过精心设计的视觉环境接口，可以有效缩减Sim-to-Real的差距，为具身智能大规模数据生成指明了方向。
• 重新定义“具身智能”的交互内涵： 该研究强调的“沟通性”（Communicative）不仅是语言理解，更是对任务目标主动确认的过程，这将推动下一代具身代理从被动执行者向主动参与者进化。
• 开源生态建设： 随着代码开源和基准测试的发布，该框架有望成为学术界和工业界验证移动操作（Mobile Manipulation）模型的重要基准平台。

4. 相关领域与受益应用

• 家庭服务机器人： 在非结构化、复杂多变的家庭场景中，处理模糊指令（如“把那个红色的东西拿给我”）并处理视觉干扰。
• 工业自动化与协作机器人： 在需要频繁与人类配合、环境动态变化的物流或装配车间进行长序列操作。
• 大语言模型与多模态模型（VLM）集成： 该研究为如何将先进的视觉语言模型（VLM）嵌入到具备复杂控制逻辑的机器人动作系统中提供了范式。

5. 可推断的局限性

• 计算开销与延迟： 在线交互与长视野推理对车载计算平台的实时性提出了高要求，文中未详细阐述在低功耗嵌入式设备上的性能表现。
• 任务复杂度边界： 虽然在家庭场景表现稳健，但对于精细化操作（如柔性物体抓取、极度杂乱环境下的避障）是否具有同等泛化能力仍有待验证。
• “模拟用户”的局限性： 如果模拟用户的行为模式过于理想化，可能无法完全模拟人类交互中不可预测的非理性和多变性，从而在极端复杂的真实交互场景下产生偏差。

专家视角评价： 这篇论文的趣味性在于它并非仅仅追求模型参数的扩大，而是聚焦于**“具身交互的闭环设计”**。它敏锐地捕捉到了当前具身模型“看得懂但做不到，做得到却不敢问”的痛点。能够实现78.3%的物理世界成功率，证明了其分层策略在处理真实环境噪声和不确定性方面的有效性，是具身智能从“玩具级”演示走向“生产级”部署的典型案例。

Key Findings:

• To bridge this gap, we present REAL, an agentic framework for open-world mobile manipulation.
• To comprehensively evaluate this approach, we introduce REAL-Bench, a benchmark spanning 241 tasks across active exploration, visual distraction, articulated manipulation, and interactive disambiguation.
• Experimental results demonstrate that our trained agent outperforms leading commercial closed-source VLMs on interactive tasks with a 56.9% success rate.

Links:

• PDF
• arXiv

---

LPM: Industrial-Scale Generative Video Restoration

Authors: Bichuan Zhu, Fulin Li, Jiachao Gong, Jinhua Hao, Kai Zhao, Kun Yuan, Pengcheng Xu, Qiang Wang, Qiao Mo, Yanlong Yuan, Yizhen Shao, Yuxiao Hu, Zixi Tuo, Ming Sun, Chao Zhou, Bin Chen, Bin Yu

Published: 2026-07-15

Categories: cs.CV

Abstract:

We present the Large Processing Model (LPM), a diffusion-based generative framework for photorealistic video restoration under complex, in-the-wild degradations. To our knowledge, LPM is the first generative video restoration model deployed at industrial scale. LPM addresses the diverse degradations in user-generated content (UGC) through a unified system encompassing large-scale data engineering, foundation-model training, and efficient inference. Its enhanced architecture, progressive training strategy, and temporal-pyramid inference mechanism jointly enable high-fidelity, temporally consistent restoration of arbitrarily long videos across the broad content distribution encountered on UGC platforms. LPM has been deployed in production at Kuaishou, where videos processed by the model account for approximately 45% of total viewing time, delivering consistent improvements across key quality-of-experience metrics. Beyond perceptual enhancement, LPM delivers substantial system-level benefits: at comparable perceptual quality, it reduces bitrate by 20% relative to Kuaishou's in-house codec, yielding annual bandwidth cost savings on the order of hundreds of millions. Its low serving cost also enables integration into products such as Kling, demonstrating that generative restoration can be practical, scalable, and cost-effective for large-scale video processing.

Analysis:

这是一份针对《LPM: Industrial-Scale Generative Video Restoration》论文的深入技术分析。

1. 摘要翻译

我们提出了大处理模型（LPM），这是一个基于扩散生成框架的工业级视频修复模型，旨在解决复杂且不受限制的（in-the-wild）视频退化问题。据我们所知，LPM是首个部署在工业规模的生成式视频修复模型。它通过统一的大规模数据工程、基础模型训练和高效推理系统，有效处理用户生成内容（UGC）中的多样化退化。其增强的架构、渐进式训练策略和时间金字塔推理机制，实现了长视频的高保真、时序一致修复。LPM已在快手平台生产环境部署，支撑了约45%的观看时长，不仅显著提升了用户观看体验，还将带宽成本降低了20%以上，证明了生成式修复在超大规模视频处理中的实用性、可扩展性和高性价比。

2. 方法动机分析

• 驱动力：在工业级场景（海量UGC、极长视频）中，如何将生成式AI的高保真修复能力与严苛的性能、稳定性约束相结合。
• 痛点：现有方法大多基于短片段训练，直接应用于长视频会导致：(1) 时序不连贯（窗口切换时的不连续性）；(2) 模型漂移（随时间推移出现颜色或纹理漂移）；(3) 计算开销极大（难以处理超长视频）。
• 核心直觉：通过“渐进式训练”构建空间优先级，通过“时间金字塔”解耦长距离参考与短距离一致性，实现对任意长度视频的稳定修复。

3. 方法设计详解

• 架构设计：
  • LPM-Image：基于DiT（Diffusion Transformer），优化了VAE（LPM-VAE）以实现高保真 latent 压缩，使用SwiGLU和RMSNorm增强模型表达力，采用Rectified Flow训练路径。
  • LPM-Video：在DiT块后插入“因子分解的1D时序注意力块”，仅在时间维度进行自注意力，大幅降低计算量。
• 关键技术：
  • NoPE (Position-Free Temporal Attention)：不使用显式时间位置编码，使模型对视频长度具有鲁棒性，支持任意长度推理。
  • 时间金字塔推理 (Temporal-Pyramid Inference)：先提取 shot 级别的锚点帧（key-frames）并联合修复，再以此为基准逐层细化，防止错误在长视频中传播。
  • 掩码引导训练 (Mask-Guided Training)：模拟推理时的递归流程，将上一片段的末尾帧作为锚点，显式教导模型进行时序对齐。
  • 三阶段一致性蒸馏：通过“幼稚蒸馏 $\rightarrow$ 真实感增强 $\rightarrow$ 保真度精炼”的三阶段训练，实现单步生成。

4. 方法对比分析

• 本质区别：从传统的“滑窗式修复”转向“分层锚点式修复”，从单纯的生成转向“带约束的细化”（Region-level identity supervision）。
• 创新点：引入了工业级的系统思维（数据过滤、三阶段蒸馏、TensorRT-LLM加速），而不仅是模型本身。
• 适用场景：超大规模、各种类型的视频流处理，特别是对时序连贯性和高保真细节要求极高的平台级应用。

5. 实验分析（精简版）

• 核心结论：LPM 在所有评价指标（PSNR, MUSIQ, KVQ）上均优于主流竞品，KVQ 得分提升尤为显著。
• 主要优势：极高的时序一致性（无 flickering），优秀的细节还原，以及39.5倍的推理加速比。
• 局限性：对长尾分布（罕见 outdoor/自然场景）的修复性能稍弱；对于本身已是高质量的视频，提升边际效应递减。

6. 实用指南

• 实现要点：必须配套完善的数据管道（如 KVQ、KTQ 质量过滤）；必须使用蒸馏后的 Consistency Model 以满足工业吞吐需求。
• 迁移建议：其“分层锚点”和“因子分解时序注意力”逻辑可直接迁移至任何长序列生成任务（如长文生成、长音频生成）。

7. 总结

• 核心思想：通过分层锚点与渐进蒸馏实现大规模工业级时序修复。
• 速记版pipeline：
  1. 数据清洗：按画质和纹理复杂度过滤海量UGC。
  2. 空间预训练：在大规模图像上学习高保真修复prior。
  3. 时序注入：通过1D时序注意力块和掩码引导，学习帧间一致性。
  4. 模型蒸馏：通过三阶段一致性蒸馏，实现单步极速推理。
  5. 金字塔推理：长视频通过关键帧锚点分层递归修复，彻底消除漂移。

Key Findings:

• We present the Large Processing Model (LPM), a diffusion-based generative framework for photorealistic video restoration under complex, in-the-wild degradations.

Links:

• PDF
• arXiv

---

VideoRAE: Taming Video Foundation Models for Generative Modeling via Representation Autoencoders

Authors: Zhihao Xie, Junfeng Wu, Xinting Hu, Junchao Huang, Li Jiang

Published: 2026-07-15

Categories: cs.CV

Abstract:

Video generative models commonly rely on latent spaces learned by 3D Variational Autoencoders (3D-VAEs). However, conventional 3D-VAEs are mainly optimized for pixel-level reconstruction, which can limit the semantic and spatio-temporal structure captured by their latents. Meanwhile, Video Foundation Models (VFMs) such as V-JEPA 2 and VideoMAEv2 show strong video understanding capabilities, yet whether their frozen representations can be transformed into compact, reconstruction-capable, and generation-friendly video latents remains largely unexplored. We answer this question with VideoRAE, a representation autoencoder that leverages multi-scale hierarchical features from a frozen video foundation encoder and compresses them with a lightweight 1D self-attention projector. VideoRAE supports both continuous latents for Diffusion Transformers and discrete tokens for autoregressive models via multi-codebook high-dimensional quantization. During decoding, a local-and-global representation alignment objective with the frozen VFM teacher improves semantic preservation and enables training without KL regularization. Experiments show that VideoRAE achieves strong reconstruction in both continuous and discrete regimes. On UCF-101, it obtains state-of-the-art class-to-video gFVDs of 40 and 93 with AR and DiT generators, respectively, while converging approximately 5x faster than competing autoencoder baselines. In a controlled 2B-scale text-to-video study, replacing LTX-VAE with VideoRAE leads to faster convergence under comparable settings. These results validate frozen VFM representations as versatile and generation-friendly video latents. The model and code will be released on https://zhxie0117.github.io/VideoRAE.

Analysis:

作为计算机视觉和机器学习领域的专家，我对这篇论文《VideoRAE: Taming Video Foundation Models for Generative Modeling via Representation Autoencoders》的分析如下：

1. 论文核心贡献总结

VideoRAE 提出了一种创新的架构，通过将冻结的视频基础模型（VFMs，如 V-JEPA、VideoMAE）的语义丰富表示转化为紧凑、可重构的视频潜空间（latents），解决了传统 3D-VAE 仅关注像素重建而忽略语义结构的问题。该方法不仅统一了扩散模型（DiT）和自回归模型（AR）的生成范式，还在显著提升生成质量的同时实现了 5 倍的训练收敛加速，证明了利用强预训练语义表征进行视频生成的有效性。

2. 关键创新与方法论

• 重用冻结的 VFM 表示：不同于从零训练 3D-VAE，该研究直接“提取”视频基础模型中已具备的强大语义和时空感知能力，作为生成模型的 latent 基础。
• 多尺度分层压缩器：采用轻量级 1D 自注意力投影仪（1D self-attention projector）整合 VFM 的多尺度分层特征，在压缩信息的同时保持了语义完整性。
• 混合量化支持：支持连续潜变量（用于 DiT）和离散 Token（用于 AR 建模），通过多码本高维量化（multi-codebook quantization）实现了极高的灵活性。
• 局部-全局对齐优化：引入了一个与冻结 VFM 教师模型对齐的损失函数，有效提升了语义保真度，且无需传统 VAE 中复杂的 KL 散度正则化，简化了训练目标。

3. 对该领域的潜在影响

• 范式转变：该研究可能促使视频生成领域从单纯的“像素重构型 VAE”转向“语义表征驱动型 VAE”，即利用已有的强大视觉编码器作为视频生成的“语言环境”。
• 计算效率提升：5 倍的收敛速度对于算力极其昂贵的视频生成训练具有重要价值，使得中等规模实验室也能利用 VFM 训练高质量生成模型。
• 统一生成框架：VideoRAE 提供了一个通用的中间层，能够无缝对接主流的两种视频生成主流（DiT 和 AR），有助于标准化视频生成架构。

4. 相关领域与应用价值

• 高质量视频生成：直接提升 text-to-video 模型的生成质量和一致性。
• 视频编辑与操控：由于 VideoRAE 的 latent 具有更强的语义信息，可以预见其在视频内容编辑（如语义化对象替换、时空运动控制）方面表现更佳。
• 长视频建模：更紧凑的 latents 有利于降低计算复杂度，从而推动长序列、长时长视频的建模研究。
• 多模态对齐：其对语义信息的保留可能进一步促进视频-文本生成模型的对齐效果。

5. 可推断的局限性

• 依赖于 VFM 质量：VideoRAE 的性能上限很大程度上取决于选用的视频基础模型（Teacher Model）。如果 VFM 在特定领域（如低光照或特定艺术风格）表现不佳，VideoRAE 的重构效果可能会受到限制。
• 推理延迟与复杂性：虽然训练过程很快，但在推理时，如果需要先进行 VFM 编码再生成，可能会增加整体 Pipeline 的推理时延。
• 特征信息的丢失风险：将高度复杂的视频特征压缩为紧凑的 latent 难免会丢失微小纹理（Texture）或高频细节，这在需要照片级真实感（Photorealism）的应用场景中可能仍是一个挑战。

总结： VideoRAE 是一项非常巧妙的工作，它不仅利用了视觉领域近年来在表征学习上的巨大积累，还巧妙地避开了从头训练大型视频编码器的繁重工作。对于关注 视频生成效率 和 语义一致性 的研究人员来说，这是目前非常值得跟进的方向。

Key Findings:

• On UCF-101, it obtains state-of-the-art class-to-video gFVDs of 40 and 93 with AR and DiT generators, respectively, while converging approximately 5x faster than competing autoencoder baselines.

Links:

• PDF
• arXiv

---

PhysClaw-0: A Symbiotic Agentic System for Robot Autonomy via Language Corrections

Authors: Boyuan Wang, Zhenyuan Zhang, Zhiqin Yang, Peijun Gu, Shuya Wang, Xiaofeng Wang, Xianghui Ze, Yifan Chang, Guosheng Zhao, Jiangnan Shao, Guan Huang, Hengyu Liu, Yonggang Zhang, Wei Xue, Chunyuan Guan, Chenglin Pu, Yike Guo, Xingang Wang, Zheng Zhu

Published: 2026-07-15

Categories: cs.RO, cs.HC, eess.SY

Abstract:

Autonomous data collection governs the volume and quality of real-world trajectories for manipulation policy learning. Existing pipelines reduce human effort via self-resetting, VLM verification, or language-guided correction, yet episode-scoped fixes must be reissued whenever the same failure recurs, so oversight cost grows with session length rather than with the number of distinct problems. We present PhysClaw-0, a human-robot symbiotic agentic system in which corrections are retained and reused across rounds. The collection loop collects, verifies, and resets autonomously, pausing for a remote operator only when a phase exhausts an explicit retry budget. An LLM parser maps each natural-language utterance to a structured adjustment stored in Corrective Memory, so addressed failure modes typically need not be corrected again under the same conditions. On a real-robot desktop-clearing testbed, PhysClaw-0 matches teleoperation episode success while reducing human working time to 16%. Language corrections improve verifier-human agreement in all four evaluated settings and raise average single-attempt success from 12.5% to 47.5% (arm-selection: 20.0% to 50.0%). Policies fine-tuned on PhysClaw-0 data match teleoperation-trained policy success at a fraction of collection human cost.

Analysis:

这是一份针对《PhysClaw-0: A Symbiotic Agentic System for Robot Autonomy via Language Corrections》的方法分析报告。

---

1. 摘要翻译

自主数据收集决定了操作策略学习所需的真实轨迹的数量与质量。现有流水线虽通过自重置机制、VLM验证或语言引导修正减少了人工负担，但在长周期收集过程中，相同的失败模式会反复出现，导致人工监督成本随时间增加而非随任务难度增加。我们提出了 PhysClaw-0，这是一个机器人与人类共生的智能体系统。操作员通过自然语言提供修正知识，系统将其保留并在后续过程中复用。随着知识积累，已修正的失败模式后续可自动处理，使操作员专注于新问题。PhysClaw-0 将收集循环表述为一种受验证门控的决策过程，仅在验证失败且耗尽重试预算后才通知人工。LLM 解析器将操作员反馈转化为结构化系统调整存入“纠正记忆库”（Corrective Memory）。在桌面清理测试中，PhysClaw-0 匹配了全人工遥操作的成功率，同时将人工工作时间降至仅 16%。

2. 方法动机分析

• 驱动力：解决长周期数据收集任务中，由于失败模式复发而产生的冗余人工干预问题。
• 痛点：现有交互式方法（如 DAgger 等）通常将反馈视为单次样本，无法实现跨情节的知识积累。即相同的错误在不同时间点出现，却需要重复的人工修正。
• 核心直觉：通过建立一个可持久化、可查询的“纠正记忆库”，将人工的自然语言修正转化为可重用的规则，从而使机器人具备“从过去经验中进化”的能力。

3. 方法设计详解

• 核心逻辑：采用“验证门控的决策循环”。
  1. 自主收集与验证：机器人执行任务，利用 VLM 进行每步验证。
  2. 失败诊断与人工介入：当尝试次数耗尽（重试预算 $N$），机器人暂停并进入 ALERT 状态，将当前观测和失败上下文发给操作员。
  3. 自然语言修正与解析：操作员输入自然语言，LLM 负责解析，将其归类为“持久化修正”或“单次修正”。
  4. 记忆持久化：若是持久化修正，系统生成规则条目（包含触发条件、调整策略、适用范围）存入 Corrective Memory。
  5. 循环复用：后续回合中，系统在规划阶段先查询记忆库，若触发条件匹配，则自动应用该修正策略，避免重复错误。

4. 方法对比分析

• 本质区别：与现有方法将人类反馈仅视为“训练数据点”不同，PhysClaw-0 将人类反馈视为“系统策略规则”的动态更新来源。
• 创新贡献：
  • 引入了显式的人机协作修正接口，而非仅仅依靠模型本身更新。
  • 实现了模型不可知（Model-agnostic）的动态行为修正：无需重新训练模型，通过规则注入即可改变系统运行时策略。
• 适用场景：需要长期、大规模进行机器人轨迹收集，且存在重复性长尾物理失败的场景。

5. 实验分析

• 关键结论：PhysClaw-0 将人机协作效率（TpHM）提升至约 10 倍，人工工作时间仅为遥操作的 16%，且 fine-tune 后的策略成功率与人工演示数据持平（80%）。
• 局限性：当前系统尚未针对复杂灵巧手任务进行优化；对于非常模糊的视觉判断场景，系统仍可能存在对错误的纠正不充分或过度修正的情况。

6. 实用指南

• 开源/复现：系统基于 OpenClaw，代码可通过论文中提供的 Project Page 获取。
• 关键细节：
  • 重试预算（Retry Budget）：此超参数平衡了收集效率与数据质量，需根据任务难度调整。
  • 解析策略：LLM 对语言解析的准确性决定了修正规则的质量，建议使用较强的 LLM（如文中的 DeepSeek-V3.2）。
• 迁移性：该方法极易迁移到任何具有 VLM 验证能力的机器人收集任务中，只需定义合适的“触发条件”和“动作参数”。

7. 总结

• 核心思想：通过记忆库实现人机知识共享，让机器人通过语言反馈跨回合自动进化。
• 速记版pipeline：
  1. 自动执行任务，VLM 实时守门。
  2. 失败触发告警，人工输入文字修正。
  3. LLM 提炼规则，存入持久化记忆库。
  4. 后续任务自动检索规则，拦截相似错误。

Key Findings:

• We present PhysClaw-0, a human-robot symbiotic agentic system in which corrections are retained and reused across rounds.

Links:

• PDF
• arXiv

---

Industrial Dexterity Benchmark: A Hardware-Software Benchmarking Platform for Industrial Dexterous Manipulation

Authors: Honglu He, Jacob Laufer, Zhiwu Zheng, David Elkan-gonzalez, Raman Goyal, Xinyi Li, Su Lu, Mishek Musa, Berke Saat, Nicolas Tan, Colm Prendergast

Published: 2026-07-15

Categories: cs.RO

Abstract:

Dexterous manipulation remains a critical bottleneck in industrial automation; tasks such as cable routing, connector insertion, and precision assembly still rely heavily on manual labor despite decades of robotics research. This work presents a progression from classical, modular robotics pipelines toward an end-to-end multimodal imitation-learning framework for industrial dexterous manipulation. As a part of this work, we introduce three key contributions: a set of Industrial Dexterity Benchmark (IDB) boards aimed to mimic datacenter cable management, automotive cable harnesses, and gearbox assembly tasks; a scalable imitation learning framework (DAG-ROS); and a multimodal diffusion-based policy framework (AG-iDP3) that creates models fusing RGB images, point clouds, joint positions, and wrist-frame wrench data. Focusing on the datacenter cable manipulation board, we evaluate the performance of a task involving cleaning a single cable over variations of an end-to-end AI policy using 48 trials per configuration. The best performing configuration, a multimodal expansion Diffusion Policy (DP), includes a multi-view RGB image source passed through an R3M encoder and reaches a 78% grasp and insert combined task success rate. This performance marks a significant improvement over the 36% observed from the single-camera RGB DP baseline. Each of the tested configurations requires only approximately 100 teleoperated demonstrations per task phase. These results indicate that the correct learned policy can outperform classical vision and control robotic methods in robustness, generalization, and deployment efficiency, justifying a shift toward scalable robotic automation for high up-time industrial environments.

Analysis:

1. 摘要翻译

灵巧操作在工业自动化中仍是关键瓶颈；尽管经过数十年的机器人研究，电缆布线、连接器插入和精密装配等任务仍高度依赖人工。本研究提出了从传统模块化机器人流程向端到端多模态模仿学习框架的演进。作为研究成果，我们引入了三项关键贡献：一套旨在模拟数据中心电缆管理、汽车线束和齿轮箱装配任务的工业灵巧基准测试（IDB）板；一个可扩展的模仿学习框架（DAG-ROS）；以及一个多模态扩散策略框架（AG-iDP3），该模型融合了RGB图像、点云、关节位置和腕部力矩数据。针对数据中心电缆操作板，我们在48次试验中评估了不同端到端AI策略的性能。性能最佳的配置——多模态扩展扩散策略（DP），利用R3M编码器处理多视角RGB图像，达到了78%的抓取与插入组合任务成功率，显著优于单摄像头RGB DP基线的36%。每种测试配置每个任务阶段仅需约100次遥操作演示。这些结果表明，正确的学习策略在鲁棒性、泛化能力和部署效率上均可超越传统视觉与控制方法，验证了向高可用性工业环境下可扩展机器人自动化转型的必要性。

2. 方法动机分析

• 驱动力：解决高精度工业任务（如数据中心电缆维护）中，传统基于规则的视觉与控制方案“脆弱且难以扩展”的问题。
• 痛点：传统方法极度依赖环境光照、CAD模型匹配、精细的参数整定，且面对微小的任务变更（如连接器型号改变）时需要大规模重编程，不仅耗时且难以适应复杂的工业场景。
• 研究假设：通过引入多模态感知（RGB+点云+力矩）的扩散策略（Diffusion Policy），并结合基于行为树（Behavior Tree）的逻辑编排，能够在大规模演示数据不足的情况下，实现鲁棒的、可泛化的端到端灵巧操作。

3. 方法设计详解

• Pipeline：
  1. 数据采集 (DAG-ROS)：利用GELLO遥操作设备采集多模态数据，通过ROS2同步流，生成时序对齐的RGB、点云、关节和力矩数据集（Zarr格式）。
  2. 感知编码 (AG-iDP3)：RGB数据通过R3M（ResNet18）编码；点云数据通过轻量级PointNet编码；关节与力矩数据直接作为状态向量。
  3. 策略推理：融合后的观察向量输入扩散U-Net，预测未来$T=15$步的关节动作。
  4. 运动控制：通过“动作分块（Action Chunking）”提取前$N=3$步，结合“时间集成（Temporal Ensembling）”平滑输出，最后通过三次样条插值生成50Hz的阻抗控制指令。
• 核心模块：
  • 模态门控（Modality Gating）：在不同任务阶段（抓取、清洁、插入）动态选择输入信息。例如，在插入阶段强制引入力矩数据以应对视觉遮挡。
  • 行为树（Behavior Tree）：充当“指挥官”，串联各阶段的AI策略节点与逻辑评估节点（Evaluator），保证任务的闭环与失败重试能力。

4. 方法对比分析

• 本质区别：从“感知-规划-控制”显式解耦的经典流水线，转向了以扩散概率模型为核心的隐式闭环端到端学习，且特别强调了力矩感知与多模态的融合。
• 创新点：提出了Per-Phase Wrench Gating（分阶段力矩门控）机制，通过行为树在策略层面实现模块化重用，极大地提升了样本效率。

5. 实验分析（精简版）

• 结果：多模态RGB融合方案（78%）远超单RGB基线（36%）。
• 优势：在仅需~100次演示的情况下即可训练出工业级策略，显著降低了部署门槛。
• 局限：对视觉背景变化敏感（例如移除训练时的背景物体会导致失败），表明模型仍存在过拟合 incidental scene features 的风险。

6. 实用指南

• 实现细节：
  • 关键超参数：$T=15$（预测步长），$N=3$（承诺步长），$k=0.01$（时间集成衰减系数）。
  • 数据预处理：采用裁剪（Cropping）技术消除背景无关噪声是提升鲁棒性的关键。
• 迁移建议：DAG-ROS框架设计为模块化，只需更换URDF和对应的ROS控制接口即可迁移至不同厂商的机械臂。

7. 总结

• 核心思想：利用多模态扩散策略与行为树，实现工业任务的端到端灵巧控制。
• 速记版pipeline：遥操作采数据 -> 多模态编码 -> 扩散模型生成动作 -> 时间平滑 -> 阻抗控制执行。

Key Findings:

• As a part of this work, we introduce three key contributions: a set of Industrial Dexterity Benchmark (IDB) boards aimed to mimic datacenter cable management, automotive cable harnesses, and gearbox assembly tasks; a scalable imitation learning framework (DAG-ROS); and a multimodal diffusion-based policy framework (AG-iDP3) that creates models fusing RGB images, point clouds, joint positions, and wrist-frame wrench data.

Links:

• PDF
• arXiv

---

PiVoT: A Variational Solution for Real-time Large-scale Multi-object Detection and Tracking under Heavy Clutter

Authors: Runze Gan, Qing Li, Simon J. Godsill, Mike E. Davies, James R. Hopgood

Published: 2026-07-15

Categories: cs.LG, cs.CV, eess.SP

Abstract:

Multi-object detection and tracking from noisy point clouds remain challenging in many data-scarce radar applications. Current Bayesian trackers based on Poisson measurement models offer a training-free solution but struggle to achieve accuracy and efficiency under severe clutter, large object populations, and full-resolution Doppler point clouds. We address this with PiVoT, a fast, clutter-resilient multi-object tracker for both positional and Doppler measurements. PiVoT performs end-to-end detection and tracking of a large and time-varying number of objects without external clustering or detectors, through joint inference of object states, shapes, existence probabilities, data association, and measurement rates. Its efficiency is driven by several variational inference innovations, such as theoretically justified birth pruning, quadratic-to-linear complexity reductions for exact updates, and a computationally efficient Doppler Poisson model. Experiments show that PiVoT substantially outperforms existing Bayesian trackers in challenging scenes, while also demonstrating exceptional scalability to a thousand objects, robustness to clutter visually inseparable from objects, and real-time operation on full-scale modern automotive radar datasets, where it attains performance comparable to a deep-learning detection benchmark as a training-free joint detector and tracker.

Analysis:

论文分析：PiVoT - 变分法实现重杂波环境下的实时大规模多目标跟踪

1. 摘要翻译

多目标检测与跟踪（MOT）在数据稀缺的雷达应用中仍具挑战性。现有的基于泊松测量模型的贝叶斯跟踪器虽然无需训练，但在严重杂波、大规模目标群体及高分辨率多普勒点云下，难以兼顾精度与效率。本文提出了 PiVoT，一个用于位置和多普勒测量的高速、抗杂波多目标跟踪器。PiVoT 通过联合推断目标状态、形状、存在概率、数据关联和测量率，实现了对海量变长目标序列的端到端检测与跟踪，无需额外的聚类或检测器。其效率源于多项变分推理创新，如理论支撑的“出生（birth）”剪枝、针对精确更新的二次方到线性复杂度约减，以及高效的多普勒泊松模型。实验表明，PiVoT 在具有挑战性的场景中显著优于现有贝叶斯跟踪器，并展示了对上千个目标的卓越可扩展性、抗杂波鲁棒性及在现代车规级雷达数据集上的实时运行能力。

2. 方法动机分析

• 驱动力：解决在数据匮乏（无需训练数据）且杂波严重的雷达场景下，如何实现大规模、实时、高精度的联合检测与跟踪。
• 现有痛点：
  • 效率瓶颈：现有基于NHPP（非齐次泊松过程）的跟踪器通常受限于目标数量的指数级增长。
  • 杂波处理差：当杂波与目标视觉不可分时，现有方法难以保持准确的聚类和关联。
  • 多普勒信息利用率低：现有方法往往忽略或低效利用多普勒信息。
  • 模型假设缺陷：Naive Mean-Field（平均场）假设在处理变长目标数时存在理论逻辑死锁（无法同时处理目标存在不确定性与数据关联）。

3. 方法设计详解

PiVoT 采用两阶段变分推理架构，将复杂的联合后验推断解耦，以实现闭式解和线性复杂度。

• Pipeline 流程：
  1. 阶段1（检测与跟踪）：利用坐标上升变分推理（CAVI）迭代更新目标的动力学状态、测量率、形状及数据关联分布。引入“无效出生点剪枝”机制，在推理早期迅速剔除不关联测量的候选出生点，大幅减小计算空间。
  2. 阶段2（存在性评价）：对每个目标进行独立的存在性概率估计。PiVoT 推导了一种线性复杂度的精确解，替代了原本计算密集的 $O(K_n^2 M)$ 过程。
• 关键技术创新：
  • 两阶段解耦：将变量划分为两个子集，分别进行变分近似，避免了单一Mean-Field假设带来的逻辑不兼容。
  • 线性化更新：通过一阶泰勒展开，将非线性的点过程近似为NHPP，保持了共轭先验的闭式更新形式。
  • Doppler-Augmented NHPP：将多普勒测量视为位置测量的“标记（mark）”，保持线性高斯似然形式，允许将多普勒和位置更新通过串行卡尔曼滤波实现。

4. 方法对比分析

• 本质区别：与基于颗粒（Particle Filter）或枚举假设（MHT）的方法不同，PiVoT 基于变分推断（VI）的近似闭式解，且不需要外部聚类器。
• 创新点：
  • 理论严谨的无效出生点剪枝（Theorem IX.1），保证了在极端高杂波下的计算效率。
  • 将存在性评估从指数复杂度降至线性 $O(K_n M)$。
• 适用场景：实时高分辨率雷达感知的嵌入式平台，尤其是目标数量剧烈波动、杂波干扰严重的大范围监控场景。

5. 实验分析（精简版）

• 验证：在6个模拟数据集及真实车规级雷达数据集（RadarScenes）上进行了对比测试。
• 主要优势：
  • 运行效率：在处理千级目标时，单帧运行时间优于0.7秒。
  • 精度：在重杂波下，GOSPA指标优于现有的PMBM和SPA方法，且能有效剔除“鬼影目标”。
• 主要局限：对刚性运动假设依赖较强，复杂转弯工况下的多普勒建模可能存在模型失配。

6. 实用指南

• 开源情况：论文明确提到了项目主页（https://runzegan.github.io/projects/pivot/）。
• 实现细节：
  • 注意参数 L (剪枝阈值) 的选择，文中建议0.5作为速度与鲁棒性的平衡点。
  • 在初始化时使用稀疏的区域划分（tiling）来覆盖整个视场。
• 迁移性：该方法主要针对NHPP模型，可直接迁移至其他类似测量的传感器（如激光雷达的原始点云）。

7. 总结

• 核心思想：通过解耦变分推理与线性化算子，实现无需训练的大规模雷达点云检测跟踪。
• 速记版pipeline：
  1. 预测上一时刻目标状态。
  2. 执行阶段1（更新运动、速率、关联，剔除无效出生点）。
  3. 执行阶段2（计算目标存在性，高效率剪枝）。
  4. 对最终轨迹进行简单的后处理逻辑剔除伪目标。

Key Findings:

• Experiments show that PiVoT substantially outperforms existing Bayesian trackers in challenging scenes, while also demonstrating exceptional scalability to a thousand objects, robustness to clutter visually inseparable from objects, and real-time operation on full-scale modern automotive radar datasets, where it attains performance comparable to a deep-learning detection benchmark as a training-free joint detector and tracker.

Links:

• PDF
• arXiv

---

Learning Forward & Reverse Skills from a Single Unfinished Demonstration for Constrained Manipulation Tasks

Authors: Yexin Hu, Haoyi Zheng, Johannes Heidersberger, Dongheui Lee

Published: 2026-07-15

Categories: cs.RO

Abstract:

Learning from demonstration (LfD) enables robots to learn manipulation skills directly from expert demonstrations but remains challenging for contact-rich tasks involving geometric constraints and force interaction. Existing approaches typically require multiple complete demonstrations and do not support reverse skill execution. In this paper, we present a unified one-shot framework for constrained manipulation that learns both forward and reverse execution from a single, possibly unfinished demonstration. Our method decomposes demonstrations into non-contact and contact phases, with non-contact motion encoded with dynamic movement primitives (DMP), and contact motion represented as a sequence of screw motion primitives segmented by our proposed geometry-driven twist-direction segmentation algorithm. During execution, screw primitives are executed sequentially under admittance-guided pose correction and speed regulation, enabling task completion beyond the demonstrated trajectory length as well as reverse skill execution without additional learning data. Experiments on peg insertion, battery insertion, lock opening, and screw driving tasks demonstrate improved success rates and robustness over segmentation and one-shot trajectory learning baselines. Details are available on the project website: https://tuwien-asl.github.io/LfD-Screw/.

Analysis:

这是一份关于《Learning Forward & Reverse Skills from a Single Unfinished Demonstration for Constrained Manipulation Tasks》的深度分析报告。

---

1. 摘要翻译

“学习从演示中学习（LfD）使机器人能直接通过专家演示习得操作技能，但在涉及几何约束和力交互的接触丰富型任务中仍面临挑战。现有方法通常依赖多次完整演示，且不支持反向技能执行。本文提出了一种统一的单次演示（one-shot）框架，能够从单个（甚至是不完整的）演示中同时学习前向和反向执行技能。我们的方法将演示分解为非接触和接触阶段，非接触运动由动态运动基元（DMP）编码，接触阶段则由我们提出的‘几何驱动旋量方向分割算法’表示为一系列旋量运动基元。执行期间，通过导纳引导的姿态校正和速度调节顺序执行旋量基元，实现了超出演示轨迹长度的任务完成能力，并支持在无额外数据下的反向执行。在插销、电池插入、开锁和拧螺丝任务中的实验表明，该方法在分割效果和单次轨迹学习基线上具有更高的成功率和鲁棒性。”

2. 方法动机分析

• 驱动力：解决接触丰富型操作任务中，由于几何约束导致的轨迹长短不一、演示不完整以及反向技能学习困难的问题。
• 痛点：现有基于DMP的LfD方法擅长自由空间运动，但在接触任务中缺乏几何约束建模能力；基于力控的方法虽能处理接触，但往往需要昂贵的手动建模。
• 研究假设：接触丰富型任务可自然分解为一系列具有一致性“旋量（screw）”行为的约束运动，这种几何结构对执行长度具有不变性，是实现长序列泛化的基础。

3. 方法设计详解

• pipeline：
  1. 阶段分解：利用力/扭矩反馈检测接触，将演示轨迹分为“自由空间”和“接触阶段”。
  2. 非接触运动：使用标准DMP编码轨迹。
  3. 接触阶段建模（核心）：
     • 分割：提出基于“旋量方向”的分割算法，而非传统的基于速度或时间的分割。通过计算相邻点的相对旋量，将轨迹聚类为多个方向一致的片段。
     • 基元拟合：将每个片段建模为旋量基元 $\pi_n = {\hat{s}_n, q_n, h_n, \theta^{end}_n}$，即旋量轴方向、轴上点、螺距和进度值。
  4. 执行阶段：
     • 6D姿态校正：通过导纳控制（Admittance Control）响应测量到的外部力/扭矩，实时调整机器人末端姿态。
     • 1D进度调节：将力和扭矩映射为沿旋量轴的进度速度，根据接触阻力自动减速，从而实现超出原始演示长度的“补全”操作。
• 算法意义：通过Lie代数表示旋量，将复杂的几何接触转化为参数化的基元，使得模型能通过简单的参数取反（$\omega, v \to -\omega, -v$）直接推导反向技能。

4. 方法对比分析

• 本质区别：与传统轨迹复现不同，本文引入了基于几何旋量的结构化表征。它不直接“重放”轨迹，而是“学习”几何约束，因此具有对任务执行长度的不变性。
• 创新点：旋量基元分割算法（不依赖时序信息）以及 wrench-aware（力/扭矩感知）的导纳执行策略。
• 适用场景：具备明确几何约束的工业装配任务，特别是有序且包含旋转/平移耦合的动作序列。

5. 实验分析

• 验证方法：在4种典型接触任务上对比了DMP、DMP+Admittance、DMP+Twist+Admittance三个基线。
• 结果：在完整和不完整演示下，本方法在“开锁”和“拧螺丝”等复杂约束任务中成功率接近100%，远超传统方法。
• 优势/局限：优势在于泛化性极强（支持新物体、支持反向执行）。局限在于，若演示序列中存在明显的轴线 misalignment（轴线偏差），多次regrasp（重抓）可能导致累计误差。

6. 实用指南

• 开源情况：代码及详细参数见 tuwien-asl.github.io/LfD-Screw/。
• 关键细节：分割算法中，需要通过Huber Loss优化避免异常点影响；在执行时，必须根据公式12平衡好“轴向”与“侧向”的导纳增益权重。
• 迁移建议：如果你的任务涉及“转动后前进”或“沿导轨滑动”，此方法是极佳的基准，只需重新校准力控制的阈值。

7. 总结

• 核心思想：通过将接触运动参数化为旋量基元，实现对几何约束的本质学习与长序列执行。
• 速记版pipeline：
  1. 区分接触前后；
  2. 用力方向将接触轨迹切段；
  3. 把每段变成一个“几何旋量”；
  4. 执行时实时感知力，推着旋量走；
  5. 反向只需把旋量参数取反。

Key Findings:

• In this paper, we present a unified one-shot framework for constrained manipulation that learns both forward and reverse execution from a single, possibly unfinished demonstration.
• Our method decomposes demonstrations into non-contact and contact phases, with non-contact motion encoded with dynamic movement primitives (DMP), and contact motion represented as a sequence of screw motion primitives segmented by our proposed geometry-driven twist-direction segmentation algorithm.

Links:

• PDF
• arXiv

---

A Deployed Hybrid Vehicle-in-the-Loop Platform for Validating Cooperative Perception

Authors: Anastasia Bolovinou, Giorgos Hadjipavlis, Markos Antonopoulos, Panagiotis Tachtalis, Konstantinos Petousakis, Konstantinos Lazaridis, Alexandros Siskos, Bill Roungas, Angelos Amditis

Published: 2026-07-15

Categories: cs.RO, cs.MA

Abstract:

European safety regulation now permits a large share of automated-driving homologation evidence to be produced virtually, provided a validated physical-virtual facility generates it. We present a deployed hybrid Vehicle-in-the-Loop (ViL) platform that couples a real instrumented vehicle with a CARLA-based digital twin (DT) through a V2X message pipeline, and we report its first integrated operation on a public-road-representative test track. A real vehicle streams ETSI-compliant CAM/CPM messages into the DT, where a GPU-accelerated Cooperative Perception (CP) module fuses them into a probabilistic occupancy grid during scenario runtime. We demonstrate the platform on a multi-vehicle double T-intersection scenario, characterise the CP workload across nominal, rain and night conditions and five localization-noise levels, and discuss the platform's current architectural limits and the engineering targets they define. The results show that CP substantially widens field-of-view (FoV) coverage and improves occupied-cell recall, and that beyond a moderate localization-noise threshold, positioning uncertainty, and not weather, becomes the dominant error source. We outline the platform's trajectory toward a Mediterranean operational design domain (ODD) testing service.

Analysis:

这是一份针对该论文的深度分析报告。

---

1. 摘要翻译

欧洲安全法规目前允许通过经验证的物理-虚拟设施产生大部分自动驾驶认证证据。我们提出了一个部署的混合式车辆在环（ViL）平台，它通过V2X消息管道将真实的仪器化车辆与基于CARLA的数字孪生（DT）耦合。我们报告了其在公共道路代表性测试轨道上的首次集成操作。真实车辆将符合ETSI标准的CAM/CPM消息流式传输到DT中，由GPU加速的协同感知（CP）模块在场景运行时将其融合为概率占用网格。我们演示了多车双T型交叉路口场景，表征了在标称、雨天和夜间条件及五种定位噪声水平下的CP工作负载，并讨论了平台的当前架构限制及工程目标。结果表明，CP显著拓宽了视野（FoV）覆盖范围并提高了占用单元的召回率；当超过中等定位噪声阈值时，定位不确定性（而非天气）成为主要的误差源。我们概述了该平台向地中海运营设计域（ODD）测试服务发展的路线图。

2. 方法动机分析

• 驱动力：满足欧盟法规关于“必须通过物理验证的虚拟测试”的要求，解决单纯虚拟仿真与物理实验间的数据鸿沟。
• 现有痛点：组织拥有的物理测试车辆、场地和配套设施有限，无法覆盖复杂的长尾场景或多车协同场景；纯仿真难以模拟传感器在真实环境中的极端表现。
• 研究假设：通过将真实车辆的传感器数据与数字孪生实时融合，能够构建出具备高保真度和扩展性的混合测试环境，有效验证协同感知（CP）系统。

3. 方法设计详解

• 平台架构（Pipeline）：
  1. 物理层（Real Assets）：仪器化车辆采集GNSS/IMU、LiDAR及RGB影像。边缘计算单元（NUC）运行物体检测，通过V2X通信（C-V2X/ITS-G5）发送符合ETSI标准的CAM/CPM消息。
  2. 中间件层：定制化的中间件扩展了CARLA ROS Bridge，将物理端的ETSI消息转化为DT可理解的动态对象。
  3. 数字孪生（DT）层：利用CARLA重建测试场地（高精度地图提取、导入.xodr格式）。通过VaN3Twin框架（ns-3 + OpenCDA）注入虚拟交通流，保证虚拟与真实实体的行为一致性。
  4. 感知模块（ROS2/JAX/CUDA）：容器化的感知节点融合物理/虚拟消息流，基于JAX/CUDA加速生成概率占用网格（nav_msgs/OccupancyGrid）。
• 关键技术：利用JAX结合NVIDIA CUDA进行占用网格的概率推理，实现了高性能计算，确保在场景运行时能实时输出感知结果。

4. 方法对比分析

• 本质区别：不同于传统的SIL（软件在环）或单纯的HIL（硬件在环），该平台强调“V2X消息管道”的同步，即将物理车辆的感知决策作为V2X的一部分直接与虚拟环境交互。
• 创新贡献：
  1. 实现了物理车辆与CARLA环境的实时双向映射，弥补了测试资源限制。
  2. 量化了定位噪声对协同感知的影响，揭示了定位不确定性是系统性能的决定性因素。
• 适用场景：自动驾驶协同感知（V2X）功能的性能评估、安全性论证及复杂ODD场景的 homologation（认证）流程验证。

5. 实验分析

• 验证方法：在双T型交叉路口场景，对比分析不同环境（雨、夜、标称）和不同定位噪声等级（0-2m）下的覆盖率（FoV）与召回率（Recall）。
• 关键结论：
  1. 协同感知显著提升了覆盖范围，即便在定位不确定性较大的情况下，空间感知仍能维持。
  2. 定位误差超过2米时，定位不确定性成为感知性能的瓶颈，甚至超过天气因素。
• 优势：可扩展性高，能模拟极多车环境；支持极端气候条件下的感知评估。
• 不足：当前架构下仿真循环的确定性存在抖动（Jitter），暂缺乏量化的Sim-to-Real保真度度量指标。

6. 实用指南

• 实现细节：
  • 感知模块采用容器化部署（Docker + ROS 2），核心算法通过JAX/CUDA进行加速，建议在高性能显卡环境下运行以降低延迟。
  • 数字孪生构建高度依赖OpenStreetMap数据到OpenDRIVE的转换，需精确校准车辆3D mesh模型。
• 迁移可能：该架构对通信层（V2X）解耦，可迁移至任何支持ROS 2通讯的自动驾驶平台或不同的数字孪生仿真引擎（如CARLA换为Unity或自定义环境）。

7. 总结

• 核心思想：通过V2X链路将真实车辆与数字孪生融合，构建高保真混合测试环境。
• 速记版pipeline：
  1. 真实车辆采集并广播感知信息；
  2. 仿真平台通过中间件同步解析车辆状态；
  3. 虚拟环境与真实感知数据在统一时间轴上融合；
  4. 基于概率算法计算全网格场景占用情况。

Key Findings:

• We present a deployed hybrid Vehicle-in-the-Loop (ViL) platform that couples a real instrumented vehicle with a CARLA-based digital twin (DT) through a V2X message pipeline, and we report its first integrated operation on a public-road-representative test track.
• We demonstrate the platform on a multi-vehicle double T-intersection scenario, characterise the CP workload across nominal, rain and night conditions and five localization-noise levels, and discuss the platform's current architectural limits and the engineering targets they define.
• The results show that CP substantially widens field-of-view (FoV) coverage and improves occupied-cell recall, and that beyond a moderate localization-noise threshold, positioning uncertainty, and not weather, becomes the dominant error source.

Links:

• PDF
• arXiv

---

EgoProceVQA: A Novel Egocentric Procedural Understanding Task with Self-Skill-Exploration Agent

Authors: Junlong Li, Junxi Li, Yuxiang Yang, Wenbin Zou, Lap-Pui Chau, Yi Wang

Published: 2026-07-15

Categories: cs.CV

Abstract:

Most daily activities are inherently procedural. However, existing evaluations for egocentric video understanding seldom address procedural understanding and largely overlook complex key-step-level reasoning under the widely used video question answering (VQA) paradigm for MLLMs. Such capabilities are crucial for building procedural AI assistants deployable on wearable devices. To bridge this gap, we introduce the Egocentric Procedural Understanding VQA task (EgoProceVQA), which systematically evaluates egocentric procedural reasoning abilities of current MLLMs and agents through six types of key-step-centric questions. Furthermore, we develop EgoProceGen, a data generation platform that efficiently constructs QA data tailored to different question types. Based on this platform, we build a benchmark with 3,600 questions, four common procedural scenarios, and 31 everyday procedural tasks. Evaluations on EgoProceVQA show that existing MLLMs and agents still have substantial room for improvement in procedural understanding. Therefore, we further propose EgoProceAgent, a self-skill-exploration agentic framework. We design a generic tool library for procedural understanding and a standardized sub-skill library shared across tools and models, enabling self-exploration without ground-truth supervision. By exploring how to compose and select sub-skills, the agent discovers effective skill strategies for diverse problems, and attains state-of-the-art performance among open-source models on multiple tasks. Together, our benchmark, generation platform, and agentic framework establish a unified foundation for EgoProceVQA. Project page: https://z1oong.github.io/EgoProceVQA/.

Analysis:

1. 摘要翻译

大多数日常活动本质上是程序化的。然而，现有的以自我中心（egocentric）视频理解的评估方式很少涉及程序性理解，且在广泛使用的多模态大模型（MLLMs）视频问答范式中，往往忽视了复杂的关键步骤推理。这些能力对于在可穿戴设备上部署程序性AI助手至关重要。为了弥补这一空白，我们引入了“以自我中心程序性理解VQA任务”（EgoProceVQA），通过六种关键步骤中心的问题，系统地评估当前MLLM和智能体的程序性推理能力。此外，我们开发了EgoProceGen数据生成平台，并构建了一个包含3,600个问题、涵盖4个场景和31个日常任务的基准。评估显示，现有模型在程序性理解方面仍有巨大提升空间。因此，我们提出了EgoProceAgent，一个自技能探索（self-skill-exploration）的智能体框架，通过设计通用的程序性工具库和共享子技能库，使模型无需地面真值监督即可进行自探索，从而发现有效的技能组合策略，并在多个任务中达到开源模型的最优水平。

---

2. 方法动机分析

• 驱动力：现有的视频评估基准主要集中在识别“发生了什么”（动作/物体识别），而未能评估“任务是如何按程序展开的”（关键步骤的时间顺序与逻辑关联）。
• 痛点：现有数据集缺乏统一、客观的精细化评估标准，且现有的程序化学习方法多依赖视觉特征聚类，难以直接用于对MLLMs的评估；此外，监督式工具学习资源密集且任务特异性强。
• 研究假设：通过将程序性理解任务分解为结构化的关键步骤，并利用“自我技能探索”机制，可以让智能体自主学习不同任务类型的最优技能组合策略，从而实现跨任务的泛化。

---

3. 方法设计详解

• 流程总结：
  1. 任务分解与评估（EgoProceVQA）：将任务划分为6种维度（关键步骤识别、序列推理、步骤接地、步骤排序、步骤缺失检测、任务完成度），确保每个维度都能精准诊断模型能力。
  2. 数据生成（EgoProceGen）：对于语义混淆任务（如步骤识别），采用“LLM辅助+人工校验”的语义生成；对于结构性任务（如时间排序），采用确定性的规则生成。
  3. 框架架构（EgoProceAgent）：
     • 输入层（Input）：解析问题结构，提取关键信息。
     • 感知层（Perception）：利用CLIP、GroundingDINO等工具，进行视频分段、文本视觉打分和目标检测。
     • 决策层（Decision）：通过LLM进行逻辑推理、证据增强和答案映射。
• 算法解释：核心创新在于技能策略（Skill Strategy）。智能体在离线阶段通过Pass 0（类型发现）、Pass 1（双策略探索）、Pass 2（参考整合）和Pass 3（策略蒸馏）四阶段，针对不同问题类型学习最优的子技能序列（例如先进行Object detection再进行CLIP scoring）。

---

4. 方法对比分析

• 本质区别：传统智能体依赖预设好的工具调用流程，而EgoProceAgent通过“自我探索”自主发现特定任务类型（Sub-type）的最优技能组合，具备极高的灵活性。
• 创新贡献：提出了系统性的程序化评估基准（EgoProceVQA）和一套无需训练（training-free）且可自我进化的智能体框架。
• 适用场景：适用于需要复杂程序化推理的AI助理任务（如烹饪、修理、安装指导）。

---

5. 实验分析

• 验证方法：在3,600个问答对上评估了包括GPT-4o、InternVL3-38B等主流模型及EgoProceAgent。
• 关键结果：EgoProceAgent在多个任务上达到开源模型SOTA；实验证明，简单的CoT（思维链）在复杂程序性任务中效果不如明确的“解耦推理”和工具调用。
• 局限性：依赖于骨干MLLM的基础理解能力，若骨干模型本身逻辑差，通过工具也难以完全弥补。

---

6. 实用指南

• 开源情况：项目主页：https://z1oong.github.io/EgoProceVQA/。
• 实现细节：建议关注Prompt工程中如何将任务分解为确定性的逻辑步骤；在复现时，使用PyTorch的bfloat16精度，并对GPU内存进行及时的清理（empty_cache）。
• 迁移可能：该方法的“四阶段自我探索协议”可直接迁移至其他需要复杂推理的任务（如金融报表分析、法律文档审核），只需替换相应的Tool Library。

---

7. 总结

• 核心思想：通过解耦推理与自我技能探索，实现程序化任务的自主高效求解。
• 速记版pipeline：
  1. 定义任务类型：识别问题的逻辑需求；
  2. 自我探索：试错并记录哪些技能组合更有效；
  3. 策略蒸馏：总结出该类型任务的最优固定组合；
  4. 在线执行：根据问题类型自动调用已学习的策略组合。

Key Findings:

• To bridge this gap, we introduce the Egocentric Procedural Understanding VQA task (EgoProceVQA), which systematically evaluates egocentric procedural reasoning abilities of current MLLMs and agents through six types of key-step-centric questions.
• Furthermore, we develop EgoProceGen, a data generation platform that efficiently constructs QA data tailored to different question types.
• By exploring how to compose and select sub-skills, the agent discovers effective skill strategies for diverse problems, and attains state-of-the-art performance among open-source models on multiple tasks.

Links:

• PDF
• arXiv

---

Towards Spatial Supersensing in the Wild

Authors: Tianjun Gu, Tianyu Xin, Kuan Zhang, Bowen Yang, Kok-Chung Chua, Peize Li, Xinran Zhang, Yupeng Chen, Qiyue Zhao, Qinlei Xie, Jianhang Liu, Yucheng Lu, Yinan Han, Marco Pavone, Yiming Li

Published: 2026-07-15

Categories: cs.CV

Abstract:

Humans can efficiently parse continuous sensory streams, from hours to years, scaffolding an internal world model that grounds spatial reasoning and prediction. To mimic this capacity, spatial supersensing challenges multimodal models to move beyond linguistic understanding toward true world modeling. However, their benchmark relies on synthetic long videos, formed by concatenating random short clips, and is mostly limited to household scenes, leaving real-world continuity and diversity underexplored. To address the gap, we introduce $\textbf{VSI-Super-Wild}$, a large-scale benchmark for evaluating spatial supersensing over long temporal horizons in diverse in-the-wild scenes. Notably, inspired by cognitive studies on how humans structure experience, we systematically probe the full triad of world state: the agent (observer), objects (scene items), and the environment (places and global layout). In total, VSI-Super-Wild contains $\textbf{6,980}$ human-verified question-answer pairs derived from $\textbf{442}$ real-world videos spanning 8 scene categories, including long-form recordings exceeding 4 hours. Results on VSI-Super-Wild expose a fundamental disconnect: despite advances in static image understanding, models consistently fail at tasks that require coherent world-state tracking over time. We characterize how performance degrades with world-state complexity and temporal horizon, and diagnose four failure modes: spatial collapse, semantic shortcuts, insufficient update, and instance confusion. This taxonomy reveals that models lack mechanisms to bind objects, agents, and environments into a unified spatial world model, a fundamental gap that defines the path forward for spatial supersensing.

Analysis:

作为计算机视觉与机器学习领域的专家，我为您详细分析这篇关于“空间超感知”（Spatial Supersensing）的研究：

1. 论文核心贡献总结

该论文提出了 VSI-Super-Wild，这是一个大规模、基于现实世界长视频的基准测试集，旨在评估多模态模型在长时间跨度下对“世界状态”的感知与追踪能力。研究揭示了现有大模型在处理时空一致性方面的核心缺陷，并建立了一套专门诊断模型空间推理失效的故障分类体系。

2. 关键创新与方法论

• 范式转移（从合成到真实）： 突破了以往依赖拼接视频片段进行训练的局限，采用长达4小时、覆盖多样化真实场景的原始视频，挑战模型对长时序连贯性的理解。
• 认知驱动的评估框架： 借鉴认知科学理论，将“世界状态”系统拆解为**“主体（Agent）—物体（Objects）—环境（Environment）”**这一三元组结构，构建了具有高认知挑战性的问答对。
• 故障诊断体系（Taxonomy of Failure）： 论文不仅是跑分，还通过定性分析总结了四种典型失效模式：空间坍塌（Spatial collapse）、语义捷径（Semantic shortcuts）、状态更新不足（Insufficient update）和实例混淆（Instance confusion），为未来模型架构优化提供了明确的“病理分析”。

3. 对领域的潜在影响

• 指引下一代模型设计： 这篇论文指出了目前多模态模型（如GPT-4o, Gemini等）在处理长时间序列时，缺乏真正的“空间世界模型”（World Model），这为从单纯的文本/图像对齐向物理空间一致性学习的范式迁移提供了方向。
• 量化长时推理能力： 该基准将成为衡量多模态模型“智力深度”的新尺子，迫使开发者解决长期记忆（Long-term memory）与空间绑定（Spatial binding）等深层问题。

4. 相关领域与应用前景

• 具身智能（Embodied AI）： 对机器人来说，理解自身位置、物体状态及环境布局的持续变化是实现自主导航与复杂任务执行的前提。
• 自动驾驶： 对复杂路况中长时间空间关联的理解（例如预测长时间未出现的交通参与者状态）。
• 长视频内容分析： 电影工业或监控领域的长时语义检索与事件重建。
• 增强现实（AR/VR）： 需要空间超感知能力来实现虚拟对象与真实物理空间的持续、准确的锚定。

5. 可推断的局限性

• 计算成本瓶颈： 由于测试集包含极长视频，且要求高维度的空间推理，这对现有的上下文窗口（Context Window）处理能力及模型推理开销提出了巨大考验。
• 真值标注的规模限制： 尽管拥有6,980对问答，但相对于无限的现实世界视频，其标注的完备性和覆盖广度仍可能存在长尾挑战（即在极端复杂、罕见场景下的泛化能力）。
• 模型反馈闭环缺失： 该论文主要关注评估与诊断，尚未提出一套能够完全解决上述四种失效模式的通用学习范式（例如，是需要更长的Token窗口，还是更强的几何约束注意力机制，尚需后续研究解答）。

专家点评： 这篇论文的有趣之处在于它深刻挑战了当前视觉-语言模型（VLM）的“虚假繁荣”。它揭示了模型虽然看起来能回答单帧图片问题，但本质上是“没有空间记忆的观察者”。通过引入基于真实世界的长时序基准，这篇研究正推动计算机视觉从“静态像素理解”迈向“动态环境构建”。

Key Findings:

• To address the gap, we introduce $\textbf{VSI-Super-Wild}$, a large-scale benchmark for evaluating spatial supersensing over long temporal horizons in diverse in-the-wild scenes.

Links:

• PDF
• arXiv

---