Arxiv Report 2026 10 08 - Owen-Liuyuxuan/everyday_my_arxiv GitHub Wiki

Arxiv Computer Vision Papers - 2026-10-08

Executive Summary

本日概览

2026-10-08 共获取100篇 cs.CV/cs.RO 记录；关键词预筛保留33篇，33篇均通过语义相关性政策并完成摘要评分，按规则选出10篇完成 PDF 全文阅读。主题覆盖 humanoid 操作、机器人手部追踪、示教定位、离线驾驶、无人机野外感知、VLA 强化微调与接触标注、磁触觉、驾驶视觉表征和未来占用预测。

本日证据较完整的方向包括真实机器人操作、双臂 VLA 后训练和小型野外无人机系统；驾驶论文主要依赖仿真基准，个别全尺寸车辆演示为定性结果。阅读全文时重点核对了真实试验次数、基准协议、标注构造与适用边界：例如 UMI 定位的噪声注入回放不等于实测轨迹回放；ICDP 卡车演示没有量化成功率；trACT 的航点由人员手动驾驶；LighTROcc 的主要占用结果使用资产补全标注。

Table of Contents

  1. Precise SE(3) End-Effector Tracking in Whole-Body Humanoid Control
  2. RLHND: Video Foundation Models as Physically Grounded Hand Trackers for Robot Learning
  3. Towards Accurate End-Effector Localization for UMI-Style Robotic Manipulation Teaching
  4. Beyond Policy Support: Interaction Constrained Offline Reinforcement Learning for Autonomous Driving
  5. trACT: temporal revelation Airborne Camera Trap
  6. Many Ways to Succeed: Diversity-Driven RL Fine-Tuning for VLA Generalization
  7. YUBI-STAG: Contact and Semantic-Rich Alignment for VLAs via Automated Video-Language Grounding
  8. MagCilia: A Compact Magnetociliary Tactile Sensor with 3D Force Sensing for Robotic Contact Perception and Grasping Feedback
  9. Do Better Visual Representations Always Lead to Better End-to-End Autonomous Driving?
  10. LighTROcc: Lightweight 4D Occupancy Forecasting via Instance-Centric 3D Gaussians

Papers

Precise SE(3) End-Effector Tracking in Whole-Body Humanoid Control

Authors: Joohwan Seo, Xiaofeng Guo, Jinkun Cao, Roberto Horowitz, Rocky Duan, Guanya Shi, Koushil Sreenath

Published: 2026-10-07

Categories: cs.RO, eess.SY

Abstract:

Precise end-effector tracking during humanoid whole-body motion is challenging due to floating-base oscillations, gravity, dynamic coupling, and locomotion-induced disturbances. We propose ResGAC, a whole-body humanoid controller for precise end-effector pose tracking that combines geometric admittance control (GAC) with residual reinforcement learning. GAC provides structured $\SE$ task-space feedback and generates nominal arm joint-position targets, while residual RL compensates for unmodeled dynamics and coordinates locomotion and balance in the shared joint-position action space. The left-invariant geometric formulation allows the same GAC law to be used across manipulation reference frames. This enables the use of a ground-attached heading frame that preserves planar locomotion while removing pelvis roll, pitch, and heave from the manipulation reference, thereby reducing reference-induced end-effector motion during locomotion. ResGAC is validated on a real Unitree G1 humanoid. Across four standing end-effector tracking benchmarks, ResGAC consistently outperforms representative baselines, including SONIC, achieving lower translational and rotational errors. Real-world experiments further demonstrate reduced propagation of pelvis motion to the desired end-effector pose using the proposed ground-attached heading frame. ResGAC achieves $90%$ success in a standing peg-in-hole task compared with $50%$ for SONIC, and accurate world-frame $\SE$ end-effector pose tracking during lower-body motion. Experimental videos are included in the supplementary material and are also available on the project website: https://resgac.github.io/ResGAC-website/.

论文解读

摘要翻译

这项工作关注人形机器人行走时精确操作末端执行器的难题。作者提出 ResGAC，把几何导纳控制与残差强化学习结合，并采用只跟随地面平面航向的参考坐标系，避免骨盆起伏和倾斜传到手部目标。Unitree G1 实机实验展示了精细追踪、拾放和插孔操作。

方法动机分析

人形机器人移动时，浮动基座的姿态变化会使手臂参考点随之晃动；一个只看任务目标的策略又很难同时兼顾机械结构约束、全身平衡和高精度末端控制。作者因此将可解析的末端几何控制与学习补偿分开：先给手臂一个明确的操作目标，再由残差策略处理未建模动力学和其他关节。这里的关键假设是，平面移动航向代表操作坐标的主体，骨盆的滚转、俯仰和升沉多属于会干扰操作的全身运动。

方法设计详解

GAC 根据末端位姿与速度误差构造 SE(3) 任务空间反馈，通过阻尼伪逆映射到手臂关节，并为冗余自由度保留零空间调节。残差策略从观测中学习修正手臂命令，同时控制腰腿等非手臂关节，形成几何基准与策略补偿的叠加。作者比较骨盆坐标系、航向系和地面附着航向系；最后一种只保留平面航向，使上身姿态变化不被误认为末端任务变化。策略先在大规模物理仿真环境中训练，再放到 G1 上测试。它不是取消模型控制，而是把学习任务限制在几何控制难以覆盖的误差部分。 该流程的输入是末端位姿与速度误差，输出是关节目标和全身残差动作。训练阶段先在 IsaacSim 的并行环境中学习补偿策略，推理阶段则由 GAC 与残差策略共同控制机器人。

方法对比分析

纯任务空间控制容易受浮动基座扰动，纯端到端策略又缺少几何结构和可解释误差反馈。ResGAC 的组合方式保留了两者的优势。地面附着航向参考还提供一个低成本设计选择：不必完整估计并传播骨盆六自由度运动，也能保持机器人平面行走方向与手部任务相联系。现有比较集中在论文中的 humanoid 基线，尚不足以推断它对所有全身控制器都占优。

实验分析（精简版）

真实 G1 插孔实验成功18/20次，成功率90%，对照 SONIC 为10/20。地面附着航向参考将末端高度平均绝对误差由22.5毫米降到12.6毫米；多个设定点和拾放测试也报告了毫米级误差。实机结果让工作超出仿真演示，但插孔样本仍少，且外部光学追踪会受遮挡和配准误差影响。评估只覆盖一种人形机器人和有限操作任务。

实用指南

复现时先确认关节映射、阻尼伪逆、末端速度估计和坐标帧定义，再分别消融残差支路与地面航向帧。仿真到实机需要机器人动力学、地面接触和外部追踪系统；论文的训练规模不能直接在普通桌面设备上照搬。工程上应同时记录失败恢复、负载变化和控制延迟。

总结

核心思想：几何控制稳住手臂

  1. 以 SE(3) 误差生成末端关节目标。
  2. 用地面航向帧去掉骨盆倾斜与升沉干扰。
  3. 让残差策略补偿动力学并控制其余关节。 这项研究适合关注 humanoid 操作和全身控制的读者；下一步应扩大机器人平台、动作类型与重复试验数量。

Links:

RLHND: Video Foundation Models as Physically Grounded Hand Trackers for Robot Learning

Authors: Seungjun Moon, Subin Jeon, Sangwoo Kim, Hanbyul Joo, Jinwoo Shin

Published: 2026-10-07

Categories: cs.CV, cs.RO

Abstract:

Recently, approaches that leverage human video datasets for robot policy training have become increasingly prevalent. However, most existing hand trackers regress pose from cropped frames with limited priors on hand motion and object interaction, resulting in inaccurate and physically inconsistent estimates. Moreover, the lack of physical cues, e.g., contact and force, limits the use of human videos for robot policy training. To this end, we propose RLHND, a video foundation model-based hand tracking model that jointly estimates hand pose and realistic tactile information from monocular egocentric videos. RLHND turns the pre-trained Cosmos 3 video diffusion backbone into a deterministic clip-level feature extractor via clean-latent conditioning, carrying its learned priors on hand motion and hand-object interaction into tracking. For pose estimation, RLHND (i) predicts hand poses with anatomically plausible joint angles and (ii) enables optional conditioning on the shape parameter to maintain consistent hand shape within the same video and even across videos recorded by the same actor. For tactile estimation, a separate tactile expert stream, trained with the pose stream frozen, predicts dense contact and force over the hand surface. We further adopt LBS-based feature spreading to enable vertex-wise feature extraction without costly per-vertex attention. RLHND achieves state-of-the-art performance across various benchmark datasets for pose estimation, while also achieving state-of-the-art performance in contact and force estimation. Moreover, we demonstrate the utility of RLHND for robot learning through retargeting results and real-world robot experiments. The code will be publicly available at https://seungjun-moon.github.io/rlhnd/.

论文解读

摘要翻译

RLHND 使用视频基础模型从视频中恢复稳定、符合人体结构的手部姿态，并预测接触与压力信息。作者将这些视觉标签用于灵巧操作策略训练。基准评估覆盖多个手部视频数据集；真实机器人结果显示，使用 RLHND 标签训练的策略总体成功率高于原有追踪器标签。

方法动机分析

机器人示教视频里的手部姿态不仅要在单帧看起来合理，还必须在时间上平滑，才能作为动作目标。逐帧拟合会出现深度方向抖动或手型尺度漂移，接触状态也难从单张图像确定。作者把时序视频预训练、人体手结构和接触专家结合起来，并用下游 DPP 操作验证标签是否真的有用。这让论文的问题从“关键点误差多大”扩展到“重建结果能否改善机器人操作”。 这一痛点驱动作者寻找能够利用前后帧、而非独立看待每张图像的手部追踪方法。

方法设计详解

视频片段输入预训练 Cosmos 3 编码器，通过条件帧接口为后续时刻提供参考。姿态参数被限制在29维解剖子空间，减少自由关节组合造成的不合理手形；缓存的形状参数在视频中保持一致，再由骨骼蒙皮生成手部网格。姿态专家输出关节运动，独立触觉专家估计接触和压力分布。训练分为姿态与触觉阶段，预测标签随后用于 DPP 训练。论文报告 H100 上推理约6.9毫秒每帧，但总体计算成本还受7.8B模型、视频片段长度和硬件配置影响。

方法对比分析

相比按帧独立回归，视频基础模型可利用前后帧抑制瞬时跳动；相比只预测关节坐标，结构约束降低手型异常；接触和压力输出让动作标签更贴近机器人任务。对比结果也显示，移除冻结视频骨干或人体结构约束都会降低部分指标。方法优势来自多个先验共同作用，因此复现时不应只保留大模型而省略形状约束或时序条件。

实验分析（精简版）

HOT3D 的 MPJPE 为13.01毫米，ARCTIC 为13.36毫米，未见过的 EgoDex 为19.90毫米。DPP 使用相同演示数据时，总成功率由原标注方式的80.8%升到87.5%；双手任务平均由64.1%升至75.0%。实机评估覆盖六类任务，说明标签质量可能转化为控制收益，但平台与试验规模有限，触觉标签的来源也较单一。

实用指南

若用于示教数据整理，应分别检查关节误差、时间抖动、手型稳定性和接触标签，再测下游策略成功率。迁移到其他手部相机或灵巧手时，需重做坐标系和骨骼映射。文中的速度来自 H100，部署还要核算显存、片段吞吐和端到端时延。

总结

核心思想：时序手部标签改善操作

  1. 用视频模型稳定预测手部运动。
  2. 施加解剖形状与姿态约束。
  3. 生成接触标签并训练下游操作策略。 论文最强的证据是从视频重建到真实策略的完整链路；跨设备和长期任务仍需检验。

Links:

Towards Accurate End-Effector Localization for UMI-Style Robotic Manipulation Teaching

Authors: Junjie Zhang, Deteng Zhang, Zhisong Xu, Bo Sun, Liuyang Li, Yihong Tian, Jie Yin

Published: 2026-10-07

Categories: cs.RO

Abstract:

Robot demonstration learning requires accurate and temporally complete end-effector localization during close-range manipulation and camera occlusion. Existing SLAM benchmarks emphasize navigation motions, whereas manipulation datasets prioritize policy learning over localization evaluation. We introduce MILD, a Manipulation-Interface Localization Dataset with real-world and simulation sequences. The real-world subset provides 86 sensor sequences from Insta360 X5 and Insight9 across 15 repeated tabletop tasks, calibration assets, and a per-execution robot end-effector reference trajectory. The simulation subset, MILD-Sim, extends task coverage in Isaac Sim for controlled manipulation-replay studies. Benchmarking visual-inertial and fiducial-aided systems on instrumented real-world recordings reveals large differences in both TCP-relative trajectory error and temporal coverage, even under the same nominal task. To support marker-augmented teaching workspaces without a pre-surveyed fiducial map, we present AprilVINS, which combines fisheye visual-inertial estimation with sequence-local AprilTag geometry and separates prior admission from guarded export of the jointly optimized state. On Insta360 AprilTag4 recordings, AprilVINS(full) under a unified protocol with sequence-specific profiles reaches millimeter-level SE(3)-aligned TCP-relative APE RMSE with high time completion and lower reported error than the tested routes under their respective protocols, whereas fisheye VIO without tag factors remains at centimeter scale. Ablations separate accuracy from exportability, and a MILD-Sim replay study provides task-specific tolerance references for interpreting those error magnitudes. Together, MILD and AprilVINS provide a diagnostic benchmarking framework for UMI-style demonstration collection. Code, datasets, and evaluation manifests will be released upon acceptance.

论文解读

摘要翻译

这项工作针对 UMI 风格机器人示教的鱼眼相机定位，提出 AprilVINS。系统把 AprilTag 作为视觉惯性里程计的几何先验，并设置先验接纳与输出安全两道门控，降低错误标记影响轨迹的风险。真实示教路线显示定位误差较小；模拟实验进一步研究定位误差对任务重放的影响。

方法动机分析

示教设备的定位误差会直接转成机械臂末端偏差，但单独追求最低平均轨迹误差不能说明操作是否成功。视觉惯性系统可能随时间漂移，标记角点也会被遮挡或误检；如果一次错误修正进入滑窗，错误轨迹可能继续向下游传递。作者因此同时关心“什么时候允许标记约束进入估计”和“什么时候可以把估计结果交给机器人”。此外，插入、擦拭和拾放对定位偏差的容忍度不同，评估必须联系具体操作任务。 该研究的动机是避免低可信标记把位姿估计拖向错误解，并降低错误示教传到机械臂后的风险。

方法设计详解

AprilVINS 基于鱼眼 VINS 的固定长度滑窗，联合处理点、线和平面视觉特征及 IMU。AprilTag 角点转换成单位球面射线，估计当前序列局部的标签几何，再作为滑窗优化先验。质量检查先决定标签观测能否参与估计；第二道门检查状态稳定性，决定是否导出教学轨迹。真实协议包含86条序列和15种桌面任务。MILD-Sim 固定一条成功演示，在末端平移目标上加入受控噪声，重复回放以测量成功率随定位误差变化的曲线。 整体流程由鱼眼视觉惯性里程计、标签先验估计和两级安全门控模块组成；输入是图像与 IMU，输出是通过稳定性检查的工具轨迹。系统在线推理，不依赖神经网络额外训练。

方法对比分析

普通 VIO 的优点是连续运行，缺点是漂移；AprilTag 可提供局部几何锚点，却要求标签可见且布局可靠。AprilVINS 将两类信息融合，并以门控处理不可信观测，安全性设计比无条件紧耦合更适合教学装置。MILD-Sim 的价值在于把定位数值映射到任务后果，但实验通过对固定轨迹注入误差完成，并非真实估计器轨迹的逐帧重放。 与无条件融合标签的方案相比，AprilVINS 允许在观测不可靠时拒绝先验，并在状态稳定前拒绝导出轨迹。

实验分析（精简版）

完整系统在若干重叠路线得到约2至10毫米定位误差，并保持路线完成；但不同商用设备采用的路线与硬件并不完全匹配。噪声重放每种误差区间约100次，可见不同任务的成功率下降曲线不同。结果支持该系统在作者测试设置中的定位收益，不能证明无标记环境或任意设备上的普适精度。

实用指南

复现时应记录标签接纳率、输出拒绝率、遮挡恢复和任务成功曲线，而不是只报平均误差。若部署在示教设备，应验证鱼眼标定、标签布局和机械臂坐标对齐。噪声注入实验可作初始容忍度估计，最终仍需用真实估计误差和真实回放确认。

总结

核心思想：定位先门控再教学

  1. 用标签射线辅助鱼眼视觉惯性估计。
  2. 过滤不可靠标签与不稳定状态。
  3. 按操作任务测量定位误差后果。 工作提供了务实的定位与任务风险连接；跨场景泛化仍待验证。

Links:

Beyond Policy Support: Interaction Constrained Offline Reinforcement Learning for Autonomous Driving

Authors: Mahmoud Selim, Cristina Cipriani, Karl Henrik Johansson

Published: 2026-10-07

Categories: cs.LG, cs.AI, cs.RO

Abstract:

Offline reinforcement learning enables reward-driven policy improvement from fixed datasets without requiring online exploration, making it particularly attractive in safety-critical domains. A central challenge, however, is distribution shift: policy optimization may favor actions that are weakly supported by the offline data, rendering value estimates unreliable. Existing approaches primarily control this shift in the policy's own action space. In interactive environments such as autonomous driving, this can be insufficient: a candidate ego trajectory may remain well supported under the marginal behavior distribution while being poorly supported jointly with the surrounding-agent behavior observed in the logged interaction. We refer to this degradation in interaction support as \emph{interaction distribution shift} (IDS), and introduce \emph{Interaction-Constrained Drive Policy} (ICDP), an offline reinforcement learning framework that explicitly controls interaction-level distribution shift. Starting from the joint data distribution over ego and surrounding-agent futures, we show that joint-support degradation decomposes exactly into an ego-support component and a residual interaction-support component. We recover the latter through contrastive density-ratio estimation, isolating interaction compatibility without explicit joint-density modeling, surrounding-agent prediction, or rollouts in reactive simulators or learned world models during policy optimization. Closed-loop evaluations on nuPlan, Interplan and real-world truck experiments show that ICDP suppresses high-value yet interaction-unsupported trajectory selections and improves performance in interaction-critical driving scenarios. Project webpage: https://mahmoud-selim.github.io/ICDP/

论文解读

摘要翻译

ICDP 提出一种带交互约束的离线强化学习驾驶方法。它不只约束新策略的自车轨迹是否接近日志，还检查自车动作与周围车辆响应的组合是否得到数据支持。扩散策略、保守价值估计和交互支持模块共同用于策略优化；仿真闭环得分提高，真实卡车实验提供定性展示。

方法动机分析

离线强化学习只能从既有驾驶日志学习，若策略选出日志中少见的动作，价值网络可能过度乐观。驾驶又有多车互动：一个自车轨迹单独看似合理，不代表在当前周车行为下仍安全。现有“行为支持”约束常聚焦自车分布，难识别这种关系变化。ICDP 将其称为交互分布偏移，并试图直接测量策略对日志互动关系的偏离程度。 作者的动机是降低策略偏离交互日志后产生的错误乐观价值，尤其是自车动作改变周车响应关系的风险。

方法设计详解

日志场景被编码成自车、周车和道路特征。扩散 actor 产生候选轨迹，critic 集成用均值减不确定性构成保守下置信分数。交互模块比较联合自车与周车分类器、仅自车分类器的结果，再用差值估计互动特有的分布变化，以减少自车边际变化的影响。该信号和自车支持项共同约束策略更新。训练使用 nuPlan 离线数据及多个场景类型；周车并非被策略重新生成，因此“支持”是从日志判别得到的近似，不是任意动态环境的安全证明。 模型在 nuPlan 离线日志上训练，在线推理时由扩散 actor 生成候选轨迹，再经 critic 和交互支持模块筛选。

方法对比分析

行为克隆保守但难以利用奖励改进；无约束离线 RL 可优化任务分数，却可能越过日志覆盖区域。ICDP 在策略迭代中加入交互支持估计，重点是维持多车联合分布的可信度。其额外模块比显式预测所有交通参与者轻量，但依赖分类器校准、数据覆盖和正则权重。论文全尺寸卡车的雪地试验是定性轨迹示例，与仿真分数需分开解读。 相比只限制自车动作接近日志的离线策略，ICDP 额外检测自车与周车组合是否仍受数据支持。

实验分析（精简版）

nuPlan Test14-Hard 的 reactive 得分为72.87，高于无约束离线 RL 的70.07；Test14-Random reactive 从83.02升至86.34。真实全尺寸卡车展示了超车、跟车和弯道行驶，但未提供实车成功率或安全事件统计。数字结果主要来自仿真闭环，因此实车部分不能被概括为量化部署优势。

实用指南

复现应保持训练数据与策略骨干一致，分别消融自车支持、交互支持和周车数量，并同时报告 reactive 与非 reactive 指标。部署前需检查分类器在长尾场景的校准、不同城市和交通密度下的支持分数。雪地示例不能代替真实开放道路验证。

总结

核心思想：约束自车与周车互动

  1. 从驾驶日志提取多车场景表征。
  2. 用保守 critic 优化扩散轨迹策略。
  3. 以分类器差值抑制缺乏支持的互动。 论文提出了明确可测试的离线驾驶约束；真实量化验证仍是主要缺口。

Links:

trACT: temporal revelation Airborne Camera Trap

Authors: Oliver Bimber, Rakesh John Amala Arokia Nathan, Mohamed Youssef, Vinayak Lal Bhatnagar, Ralf Berger, Klaus Hackländer

Published: 2026-10-07

Categories: cs.CV

Abstract:

Effective remote monitoring and surveillance using drones are frequently impeded by severe environmental and thermal clutter, dynamic vegetation, target camouflage, and system latency. Drawing inspiration from the hunting strategies of birds of prey that hover and stabilize their vision to isolate subtle ground motion, we introduce trACT (temporal revelation Airborne Camera Trap), a lightweight, real-time aerial robotics framework designed for autonomous consumer drones. The system integrates Temporal Max Pooling (TMP), a low-level signal processing method that transforms imperceptible movement across a rolling integration window into robust value and time encodings, with self-supervised motion anomaly detection to isolate target motion from background environmental motion caused by wind gusts and drone drift. To overcome mechanical and processing delays, trACT combines motion prediction with automated gimbal-stabilized optical zoom verification and equitable multi-target verification balancing. Extensive real-world field experiments in densely forested wildlife habitats and surveillance scenarios demonstrate that trACT successfully bridges the gap between wide-area aerial monitoring and precise, autonomous target verification under challenging operational conditions.

论文解读

摘要翻译

trACT 将无人机相机用于空中野生动物与人员监测。它先从视频中突出微小运动，再区分动物或人员与风吹植被等背景运动；卡尔曼滤波补偿处理延迟，云台对候选进行光学验证并记录位置。真实野外飞行表明这种流水线能够在线处理影像，但航点仍由人员手动驾驶。

方法动机分析

高空图像的目标很小，动物会被植被遮挡，热像还会把枝叶摆动当成运动。逐帧目标检测容易漏掉弱小目标；一旦计算延迟较长，云台若朝着过时位置转动，就无法验证候选。系统还需要在多个目标间公平分配有限的放大验证时间。trACT 把微运动增强、异常检测、时延补偿、云台控制和地图记录组成一个端到端现场流程。 复杂植被和处理延迟构成关键挑战，促使作者把低成本运动线索、预测与主动光学验证结合起来。

方法设计详解

Temporal Max Pooling 在滚动窗口内累积像素级最大帧差，并加入时间通道形成运动轨迹表示。异常检测网络用没有目标的空场景自监督训练，学习风和平台漂移等常见背景，再筛选异常运动。卡尔曼预测补偿约946毫秒流水线延迟，候选位置控制云台居中和变焦，随后激光测距、GPS与视觉语言模型对放大图像做验证和分类。balanced covermap 负责多目标间的验证覆盖。低层感知约1 Hz在无人机硬件运行，人员仍手动飞至预设航点。 异常运动网络以无目标空场景自监督训练；推理流程从 TMP 候选开始，依次经过运动预测、云台验证、分类和地图记录。

方法对比分析

与只做离线检测不同，trACT 同时考虑检测、追踪延迟、光学验证和地理记录；与直接在全图运行大模型相比，它先用廉价运动线索提出候选，再把云台与模型预算集中给少数区域。这个分阶段设计有利于嵌入式现场运行，但会形成级联召回上限：没有进入候选列表的目标，后续验证模型无法补回。

实验分析（精简版）

野生动物实验共8次飞行、4小时26分、1276张图像和579只动物。原始候选召回约46%，验证后报告召回74.8%、精度99.8%；人员监控报告召回83.8%、精度100%。这些指标来自有限地点和特定飞行条件，且高精度依赖事后验证。被植被完全遮挡或未触发运动候选的动物仍可能漏检。

实用指南

复现时分开报告候选召回、云台验证成功率和最终分类精度，并注明航高、风速、热像模式和目标尺度。现场部署还需核算法规要求、手动飞行操作、云台响应和人工复核成本。野生动物位置及人员监控视频涉及隐私，数据访问应受限。

总结

核心思想：运动筛选加云台验证

  1. 用时序帧差增强微小运动。
  2. 预测目标位置补偿处理延迟。
  3. 驱动云台验证并把结果映射到地点。 这项工作有实地系统证据；目前仍是人工航点下的辅助监测流程。

Links:

Many Ways to Succeed: Diversity-Driven RL Fine-Tuning for VLA Generalization

Authors: Haoru Li, Jinmei Liu, Zhiyong Wang, Xiaoming Li, Zhenhong Sun, Daoyi Dong, Chunlin Chen, Zhi Wang

Published: 2026-10-07

Categories: cs.RO, cs.LG

Abstract:

Reinforcement learning (RL) fine-tuning improves vision-language-action (VLA) policies through closed-loop experience, yet generalization beyond the fine-tuning distribution remains limited. Our analysis reveals a selective reshaping of exploration: RL contracts behavior globally, yet diversifies successful trajectories, elicits success with fewer rollouts, and covers more of the latent task-valid solution space than supervised fine-tuning. Broader successful-mode coverage may provide alternative strategies under distribution shifts. Inspired by this, we introduce DRIVE (Diversity-driven RL fIne-tuning for VLA gEneralization), which turns successful-behavior diversity into an explicit RL objective. DRIVE groups rollouts under matched task conditions, compares their trajectories with temporal alignment, and derives a success-conditioned intrinsic reward from relative behavioral diversity. This design encourages broader coverage of feasible solutions without rewarding diverse failures or superficial timing differences. Across LIBERO-Plus, ManiSkill3, and RoboTwin 2.0, DRIVE improves the average out-of-domain (OOD) performance over vanilla RL fine-tuning by 5.3 points on $π_0$ and 2.0 points on $π_{0.5}$. On a dual-arm AgileX PiPER-X platform, DRIVE further increases average OOD success from 64.1% to 73.3% (+9.2 points), demonstrating gains that persist under physical deployment.

论文解读

摘要翻译

DRIVE 为视觉语言动作模型的强化微调设计了一种成功条件多样性奖励。它比较同一任务多次尝试的行为序列，只鼓励成功轨迹之间的有用差异，并将奖励写成势函数塑形。作者在三类机器人模拟基准和双臂实机任务上评估，结果显示分布外成功率有所提升。

方法动机分析

强化微调需要探索，但行为差异本身不一定值得奖励：失败动作越新颖，并不代表策略越好。普通动作噪声还可能重复探索已知失败区域。DRIVE 的主要假设是，成功轨迹中仍存在可学习的行为多样性，而失败轨迹的差异不应该得到额外奖励。为了避免另训奖励模型，它直接复用 VLA 已算出的前缀特征。

方法设计详解

策略每次决策时抽取 VLM 前缀 token 的平均表征，将多个动作块及结束观察组成时间序列。Global Alignment Kernel 对不等长行为进行单调软对齐，形成两条轨迹的相似度；组内相对不相似程度成为多样性分数。只有成功轨迹获得该分数，且奖励采用势函数差分形式以保持原任务最优策略集合不变。训练仍使用 PPO 与 Flow-SDE，64组、每组8条轨迹，多样性项加在终止动作块。GAK 的组内两两比较意味着轨迹变长、组数增加时需注意计算成本。 训练流程先组织同一任务条件的多条 rollout，再计算组内 GAK 分数，最后把成功条件的势函数差分加入策略优化；推理时仍直接执行微调后的 VLA。

方法对比分析

增加采样噪声会扩大行为变化，却不知道变化是否有意义；KL 正则和 PPO 裁剪主要限制策略更新，不直接奖励成功行为的多样性。DRIVE 的区分标准是任务成功，并以时间对齐特征而非整段平均向量比较行为。理论分析支持势函数形式的策略不变性，但效果仍取决于成功标签和特征是否正确表达任务行为。 相比对所有轨迹统一增加噪声的做法，DRIVE 将奖励集中在任务成功的行为差异，并通过理论分析保证塑形不改变最优策略。

实验分析（精简版）

在 π0.5 模型的模拟任务中，OOD 宏平均成功率从 vanilla RFT 的71.1%提高到73.1%。双 AgileX PiPER-X 实机评估两项任务，每种条件20次，Clean 平均从77.5%到82.5%，三个 OOD 条件平均从64.1%升到73.3%，增幅9.2个百分点。八种实机设置中七项优于基线，一项持平，因此应把结果表述为整体提升，而不是每个条件都获益。 此外，模拟基准覆盖 LIBERO-Plus、ManiSkill3 与 RoboTwin 2.0。

实用指南

适合已有 PPO/Flow-SDE 微调流程、且能取出 VLM 中间特征的团队。复现需要保持每组任务条件相同，并分别检查成功判断、温度、采样噪声、轨迹长度与 GAK 耗时。实机迁移还要完成双臂校准和仿真布局对齐；文中实机只涉及两种任务。

总结

核心思想：奖励成功行为的多样性

  1. 按决策时刻抽取 VLM 表征序列。
  2. 用 GAK 对齐并比较组内轨迹。
  3. 仅给成功轨迹加入势函数奖励。 实机与模拟结果支持进一步测试；跨机器人和任务泛化仍需更多证据。

Links:

YUBI-STAG: Contact and Semantic-Rich Alignment for VLAs via Automated Video-Language Grounding

Authors: Masatoshi Tateno, Takehiko Ohkawa, Yueh-Hua Wu, Hanlong Li, Tatsuya Matsushima, Yoichi Sato, Kei Ota

Published: 2026-10-07

Categories: cs.RO, cs.CV

Abstract:

Vision-Language-Action (VLA) models acquire broad manipulation capabilities via large-scale pretraining, yet eliciting them through language requires fine-grained alignment between instructions and physical interactions. Existing robot demonstrations typically provide only coarse task descriptions, omitting how actions are executed, including which gripper acts, which object is contacted, and how it is grasped and moved. We introduce YUBI-STAG, a framework for Spatio-Temporal Annotation and Grounding that automatically enriches manipulation demonstrations with interaction-rich semantics to align pretrained VLAs with fine-grained manipulation language. Combining contact-object segmentation with vision-language models, YUBI-STAG annotates object identities, attributes and states, per-gripper actions, bimanual coordination, and spatially grounded interactions. To address YUBI-STAG's reliance on localized sequences and multi-stage VLM inference, we distill it into YUBI-VLM. YUBI-VLM directly recovers action structure and annotations from raw, unsegmented video in few inference calls and operates from wrist views alone. We evaluate both frameworks on YUBI-STAG-Bench across temporal, semantic, and spatial grounding tasks. YUBI-VLM retains much of YUBI-STAG's annotation accuracy with fewer inference calls and shorter runtime while generalizing to unseen manipulations. Finally, post-training VLA policies on these annotations aligns them with fine-grained language and contact-aware structure. Bimanual experiments demonstrate improved performance and instruction following, including control over object identity, acting gripper, target location, and spatial relations absent from original labels.

论文解读

摘要翻译

YUBI-STAG 从机器人演示中恢复接触对象、左右手动作、双手协作和物体状态变化，再把这些语义转成 VLA 可学习的语言监督。接触掩码为时间和空间定位提供锚点；蒸馏模型 YUBI-VLM 可直接处理未分段腕部视频。论文同时评估标注质量和真实操作任务中的策略收益。

方法动机分析

常见机器人演示说明任务目标，却没有标出由哪只手完成、接触何物、何时抓取或释放。只用粗任务说明训练的 VLA 难以按对象颜色、目标位置和双手角色执行更精细的指令。作者将这种缺失视为监督粒度问题，希望把视频内已有的接触信息转成结构化标签，而不是只让多模态模型生成更长的自然语言描述。 这一监督缺口构成作者的研究动机：当训练文字没有刻画接触和手间分工时，预训练能力难以通过指令稳定调用。

方法设计详解

接触模块读取双腕相机视频，使用视觉编码器和时序网络同时预测左右手接触区间及对象掩码。系统先建立场景对象清单，再将掩码轨迹绑定持久对象编号，接着切分动作阶段并标注每只手的角色、双手协作与物体变化，最后生成对象有锚点的动作描述。YUBI-VLM 用 LoRA 适配预训练视觉语言模型，能够从未分段视频直接产生动作片段与标注。策略后训练再加入对象属性、目标位置、手别和接触阶段；训练采样也提高抓取转移的比例。

方法对比分析

仅靠夹爪开合推断抓取容易漏掉支撑、稳定等非抓握接触；接触视觉跟踪可补充像素层对象线索。自由文本标注灵活，但不易验证时间、对象 ID 和左右手关系。YUBI-STAG 选择分阶段结构化预测，代价是标注流程复杂；YUBI-VLM 将多次推理压缩为较少调用，但在属性与状态判断上仍有不足。 相比只生成语言描述或只给空间点位，YUBI-STAG 同时对齐时间片段、接触像素、对象身份和双手协作。

实验分析（精简版）

在100个视频片段构成的标注基准上，接触检测 mIoU 为89.7%，帧准确率94.5%，接触对象端到端指标为74.0和75.1。真实零件分拣完整成功率从粗标注的0升至加入手别与接触监督后的60%；燃料支架抓取任务从0升至40%。试验每个条件20次，结果积极但样本有限。袜子颜色、左右手和目标位置任务也显示更好的语言控制。

实用指南

复现需确保各策略使用相同演示、动作空间和训练配置，再分别消融手别、接触阶段、目标语义与接触采样权重。若换用固定相机或其他腕部相机，应重新评估遮挡下的接触分割和对象 ID 连贯性。标注阶段依赖大型模型与多模态推理，成本不能忽略。

总结

核心思想：用接触结构细化动作语言

  1. 从腕部视频定位接触时间和对象。
  2. 生成手别、协作与状态标注。
  3. 用细粒度语义后训练操作策略。 论文建立了标注到控制的实机证据链，迁移到其他数据采集系统仍待验证。

Links:

MagCilia: A Compact Magnetociliary Tactile Sensor with 3D Force Sensing for Robotic Contact Perception and Grasping Feedback

Authors: Yu Feng, Hao Wu, Haotian Guo, Haoming Liu, William Su, Jingxiang Guo, Jiankun Li, Masayoshi Tomizuka, Wen Jung Li, Jianshu Zhou

Published: 2026-10-07

Categories: cs.RO

Abstract:

Robotic grasping and surface exploration benefit from simultaneous measurement of normal and tangential forces and from surface information obtained through contact. Here, we present a compact magnetociliary tactile sensor (MagCilia) that combines a flexible magnetic-cilia structure with a Hall sensor for 3D force sensing. Quasi-static finite element analysis is used to investigate structural deformation and magnetic responses under multidirectional loading. To reconstruct forces from the coupled magnetic channels, we propose causal history fusion regression (CHFR), which combines current magnetic-field measurements with their recent changes. Five-fold cross-validation grouped by calibration record yields root-mean-square errors of 0.40, 0.57, and 0.69 N for Fx, Fy, and Fz, respectively, with corresponding coefficients of determination of 0.93, 0.90, and 0.92. Robotic experiments demonstrate tangential-force-guided gripper adjustment and multi-axis load monitoring under external perturbations. Frequency-domain features of the reconstructed forces distinguish six surface categories with 99.39% accuracy in three-fold cross-validation grouped by acquisition session. An online robotic demonstration additionally identifies all six tested surfaces. These results demonstrate 3D force reconstruction, grasping feedback, and surface recognition using a single compact tactile unit.

论文解读

摘要翻译

MagCilia 是一种紧凑的磁毛触觉传感器，以单个 Hall 元件测量法向力和两个切向力。作者提出因果历史融合回归，将当前磁场和短期变化映射为三轴接触力，并演示力反馈抓取和表面识别。分组交叉验证显示较高力重建一致性，六类表面也可由力信号的频谱区分。

方法动机分析

软磁毛在受压时会压缩、弯曲，承托层也会剪切；不同方向的载荷因此会同时改变多个磁场通道。逐通道映射会忽略这种耦合，且材料变形存在短时历史。单点传感器结构简单、容易放进夹爪，但空间信息和载荷范围受限。本文尝试用轻量回归利用通道耦合及历史变化，验证一个紧凑传感单元是否能同时服务抓握反馈和表面感知。 这一耦合是单点磁传感的主要瓶颈，推动作者将多轴读数与短时历史共同用于力估计。

方法设计详解

结构由磁性 cilia 薄层、PDMS 缓冲层、Hall 读数板与外壳组成。准静态有限元展示法向、切向和斜向加载造成的磁响应。回归输入包括三轴当前磁场，以及40毫秒和120毫秒的历史差分，共九个特征；Extra Trees 与 Nyström 核岭回归并行输出三轴力，再取均值。标定数据在完整加载记录之间做五折留一评估，避免把相邻时刻随机拆进训练与测试。机器人控制端使用低通、死区和持续时间判断来避免夹爪响应抖动。 训练阶段以多方向加载记录拟合双分支回归器，推理时逐点读取当前磁场与过去样本，即可输出三轴力。

方法对比分析

相较多 Hall 阵列或复杂视觉触觉系统，MagCilia 采用单 Hall 元件和柔性磁毛，结构紧凑；相较简单静态映射，它加入多轴联合信息和历史变化。回归模型本身较传统，主要贡献是结构设计、数据组织与机器人演示的结合。频谱分类依赖扫描动作和载荷条件，不能直接等同于在任意接触状态下识别材质。

实验分析（精简版）

三轴力的 RMSE 分别为0.40、0.57和0.69牛，R²为0.93、0.90和0.92。表面分类按采集 session 分组，326/328次正确，准确率99.39%；在线机器人只展示六次表面识别，不能当作独立的大样本准确率。力反馈实验展示了负载增加时夹爪加紧、外力支撑时释放的控制过程。

实用指南

复现重点是传感器装配、基线校正、完整记录分组和力坐标标定。应增加温度、不同预载、传感器个体和跨日测试，并测量夹爪闭环下的力响应延迟。对表面识别，训练与测试需按日期或硬件批次划分，避免扫描条件成为捷径。

总结

核心思想：磁场历史重建接触力

  1. 用柔性磁毛把力转成磁场变化。
  2. 融合当前读数与两段历史差分。
  3. 将预测力用于抓握调节和扫描识别。 这是一套完整的小型触觉系统，广泛材质与长期稳定性还需检验。

Links:

Do Better Visual Representations Always Lead to Better End-to-End Autonomous Driving?

Authors: Zihao Zhang, Haochen Tian, Tianyu Li, Changhui Jing, Jingliang He, Naisheng Ye, Ziyuan Pu, Zhenjie Yang

Published: 2026-10-07

Categories: cs.RO, cs.CV

Abstract:

Visual foundation models (VFMs) are increasingly integrated into end-to-end autonomous driving for their powerful representations, yet it remains unclear when these representations improve driving performance. To investigate this question, we introduce ViRA, a planner-agnostic visual representation alignment framework that keeps the planner architecture and inference cost unchanged. Our study reveals three findings: (1) VFM-guided visual representations consistently improve driving performance across diverse end-to-end planners, with gains extending to zero-shot closed-loop evaluation. (2) The choice of VFM target matters for planning performance, and alignment to a different VFM can further benefit planners with pre-trained VFM encoders. (3) Auxiliary perception supervision reduces sensitivity to VFM target selection, narrowing the EPDMS spread across five targets from 2.7 to 0.5 points and potentially compensating for less effective VFM targets. Guided by these findings, we develop ViRA-Diffusion, a diffusion-based planner trained without auxiliary perception supervision, which achieves 92.3 EPDMS on NAVSIM v2 navtest, outperforming recent methods in our comparison by at least 1.9 points. The results motivate jointly considering target selection and planner supervision when integrating VFMs into end-to-end autonomous driving. The results and demo are available at https://github.com/OpenDriveLab/ViRA.

论文解读

摘要翻译

ViRA 研究视觉基础模型表征何时能改善端到端驾驶规划。训练时，它把冻结视觉模型的特征作为 planner 的辅助监督，部署时移除教师分支，因此不增加推理结构和成本。跨多种 planner 的结果显示驾驶分数普遍提升；收益受到教师模型选择及感知辅助任务的影响。

方法动机分析

把视觉基础模型直接放进车端可能增加延迟和参数量，而单一组合实验很难解释哪些表征真正有用。作者把问题拆为两个因素：基础模型表征是否能迁移到现有 planner，以及收益是否随教师目标和 planner 训练方式变化。它的核心假设是，中间视觉表征可以在训练期教会较小 planner 关注空间关系和场景语义，部署时仍由原有策略头完成规划。

方法设计详解

输入多摄像头图像同时进入 planner encoder 与冻结的视觉基础模型。空间依赖对齐损失约束两者注意力关系，场景语义对齐损失通过双向对比目标拉近全局嵌入，二者与原规划损失共同训练。默认空间权重为1，语义权重为0.1。方法兼容回归、扩散和轨迹打分 planner，测试多个视觉基础模型作为目标；冻结模型和对齐头只在训练阶段使用，推理时由原 planner 独立执行。主评估涵盖 NAVSIM v2 的常规与困难场景，以及零样本闭环模拟器。

方法对比分析

视觉 backbone 替换会改变部署计算量；ViRA 在训练时传递特征，保留原网络推理速度。对比单一特征损失，它分别处理空间关系与全局语义。研究也指出不同教师不是可互换的：无辅助感知监督的 planner 对教师选择更敏感。因而不能把一个对齐目标的效果简单推广到所有 planner 或数据集。

实验分析（精简版）

常规驾驶测试中，三类 planner 分别提高5.4、7.4和10.9 EPDMS；困难场景也有提升。闭环模拟器的总分提升2.7至6.4分。一个经 ViRA 训练的扩散 planner 达到92.3 EPDMS。以上均为公开基准和模拟器结果，不是道路车辆实测；随机初始化教师反而降低成绩，支持预训练表征的重要性。 在部署推理阶段，冻结教师与对齐头被移除，作者报告无需增加原 planner 的推理成本。

实用指南

复现需记录教师特征层、图像尺度、空间对齐方式、辅助任务和训练成本。冻结教师不增加部署延迟，但特征抽取仍消耗训练显卡与存储。评估应拆分城市、天气、交通参与者和长尾风险，不能只看平均分。

总结

核心思想：训练期蒸馏表征，部署期保留轻量

  1. 冻结视觉教师提取多视图特征。
  2. 对齐空间关系和场景语义。
  3. 只部署原 planner 与策略头。 ViRA 提供了有效的实验框架；真实道路适用性仍需安全验证。

Links:

LighTROcc: Lightweight 4D Occupancy Forecasting via Instance-Centric 3D Gaussians

Authors: Hwanhee Jung, SeungHyeon Kim, Inkyu Koo, Qixing Huang, Sang Ho Yoon, Sangpil Kim

Published: 2026-10-07

Categories: cs.CV

Abstract:

Forecasting future 3D occupancy from surround-view cameras is essential for autonomous driving, yet existing approaches rely on dense voxel or bird's-eye-view representations whose cost grows rapidly with spatial resolution and prediction horizon. Because these representations do not explicitly maintain object identities, they also struggle to preserve instance consistency over time. We present LighTROcc, a lightweight instance-centric framework that represents movable objects with a compact set of learned queries and predicts present and future occupancy in a single forward pass. LighTROcc localizes each query through attention-guided forward lifting, combining image-space cross-attention, query-specific depth, and camera geometry to estimate its 3D center. Each instance is modeled as a mixture of anisotropic 3D Gaussians and propagated across future steps using predicted displacements, producing continuous, temporally consistent occupancy forecasts. Experiments on nuScenes and supplemented nuScenes-Occupancy show that LighTROcc outperforms the evaluated dense and instance-wise baselines in instance-level forecasting accuracy while maintaining strong voxel-level occupancy quality. Across different model configurations, LighTROcc achieves a favorable balance between forecasting accuracy and computational efficiency, demonstrating the potential of compact instance-centric modeling for camera-based 4D occupancy forecasting.

论文解读

摘要翻译

LighTROcc 用少量实例 query 预测当前及未来的三维占用状态。每个 query 通过图像注意力和深度估计定位到三维空间，再以多个三维高斯表示对象形状，并沿预测轨迹传播。nuScenes 结果显示，它在实例级预测精度和运行速度之间取得较好平衡。

方法动机分析

稠密体素和鸟瞰图方法要为每个空间位置维护表示，预测时间越长、分辨率越高，计算越昂贵。若先预测稠密占用再用运动流恢复对象身份，还可能把相邻实例合并或把单个对象切碎。作者选择直接让模型保留对象级 query，让它贯穿多个未来时刻，以更紧凑的方式表示可移动目标及其运动。 稠密时空表示和后处理身份关联构成效率与一致性的双重瓶颈，推动作者直接按实例维护状态。

方法设计详解

多相机历史帧由共享图像编码器处理，加入相机、时间和位置编码后输入 transformer。200个学习 query 按时间顺序更新，形成简洁的时序记忆。最终注意力图经过 soft-argmax 得到像素中心，深度分布与相机内外参把中心提升到三维。每个实例由48个各向异性高斯近似体积，并由位移头预测未来轨迹；训练时使用 Hungarian matching，将置信度、中心、深度、注意力、占用和运动损失联合优化。模型预测当前及四个未来步。 输入是多相机历史图像，流程依次经过图像编码、query 更新、注意力和深度 lift、高斯体积解码及轨迹传播。训练阶段用 nuScenes 标注联合优化；推理时一次前向计算输出当前和未来占用。

方法对比分析

稠密方法擅长整体体素占用，却需额外实例分组；当前帧实例 query 方法不能预测未来。LighTROcc 把实例身份直接放进 query，并以连续高斯表达形状，避免固定体素作为内部表示。注意力 soft-argmax 比直接回归三维中心或选取硬峰值更稳定。代价是对象查询和高斯几何仍依赖训练标注质量及相机校准。 相比稠密体素方案，实例 query 避免逐体素维护对象身份；相比只预测当前帧的稀疏方法，它还能沿轨迹传播对象几何。

实验分析（精简版）

nuScenes 评估中，平均占用 IoU 为16.19、实例 AP 为35.20，全分辨率速度为12.8 FPS。低分辨率版本达到25.1 FPS；实例形状连续性为91.32%。数据集占用标注由稀疏 LiDAR 补充三维资产，体素密度从17.62%升至71.51%，因此主结果应结合补全协议理解。作者也在原始稀疏标签的保守评估下报告结果。

实用指南

复现涉及多相机标定、nuScenes 占用补充资产和八张 RTX Pro 6000 训练卡。建议首先复现注意力定位、query 数量和未来运动预测消融，再比较原始与补全标注下结果。单卡测试速度来自高端 GPU，不能直接推断车载实时性能。

总结

核心思想：让实例 query 携带未来形状

  1. 用跨视角注意力定位对象中心。
  2. 以高斯混合表示对象体积。
  3. 沿学习到的位移生成未来占用。 方法在实例预测方面表现突出；新标注协议和车载部署仍需进一步验证。

Links: