Arxiv Report 2026 06 10 - Owen-Liuyuxuan/everyday_my_arxiv GitHub Wiki

Arxiv Computer Vision Papers - 2026-06-10

Executive Summary

2026-06-09 Arxiv 计算机视觉论文执行摘要

一、主要主题与趋势

本日10篇论文集中反映了以下核心趋势：

  • 自主系统向“世界模型+强化学习”范式迁移：多篇工作（4,5,7,8）尝试将因果世界模型、扩散模型与强化学习结合，用于机器人导航、操作和自动驾驶规划，显著提升了长期推理与闭环控制能力。
  • 多模态大模型持续向统一离散表示与自回归生成演进：论文2、3探索将视觉、语言等多模态信息统一编码为离散token，实现端到端自回归生成，代表了当前LLM与视觉融合的主流方向。
  • 机器人技能学习走向精细化与多体协同：触觉感知（5）、双臂操作（10）、人形机器人动态行为（6）成为焦点，强调物理交互中的力/触觉回环和多视角语义对齐。
  • 端到端自动驾驶架构创新：论文1、7分别从曝光时间对齐的硬件架构和扩散引导规划两个角度，推动自动驾驶系统的实时性与安全性。

二、特别重要的创新论文

  1. ARM（论文3）：提出自回归多模态大模型，将视觉、语言等模态统一为离散表示。与现有VLM不同，ARM不依赖交叉注意力，而是通过纯自回归生成实现多模态理解与生成，在多项基准上达到SOTA，代表了多模态模型设计的重要方向。

  2. Next Forcing（论文4）：提出“多块预测”的因果世界建模新范式，显著优于单步预测方法，在视频预测和规划任务中展现了更精准的长期因果推理能力，对机器人、自动驾驶等领域有潜在深远影响。

  3. Diffusion Forcing Planner（论文7）：将扩散模型引入自动驾驶规划，通过时间依赖引导实现“历史退火”机制，在复杂城市场景中同时提升安全性和轨迹平滑性，是对传统基于优化的规划方法的突破。

  4. TacForeSight（论文5）：首次构建基于力/触觉引导的世界模型，使机器人能在接触丰富的操作任务中预测触觉反馈并主动调整策略，填补了触觉模态在智能体世界模型中的空白。

三、新兴研究方向与技术

  • 离散化统一表示：ARM等论文推动了多模态输入/输出的离散token化，可能成为未来通用多模态模型的基础架构。
  • 多块/多步因果预测：Next Forcing挑战了传统单步或梯度展开时序模型，以更粗粒度但更稳健的方式建模长期依赖。
  • 触觉世界模型：将触觉力信号纳入预测循环，使机器人操作从“观察-动作”转向“感觉-动作”，开辟了机器人学习的感知新维度。
  • 跨实体/配置的规划泛化：AgniNav（论文9）针对不同机器人形态（轮式、腿式等）的导航规划，强调配置驱动的局部规划泛化，为多形态机器人部署提供新思路。
  • 基于课程学习的动态技能学习：RoboNaldo（论文6）用运动引导的课程RL完成了复杂的人形机器人足球射门，展示了从仿真到真实的精细技能迁移路径。

四、建议优先全文阅读的论文（按推荐程度排序）

  1. ARM（论文3） — 对多模态大模型架构设计感兴趣的必读，创新性强且方法干净。
  2. Next Forcing（论文4） — 世界模型领域的重要突破，适用于所有涉及时序预测的研究者。
  3. TacForeSight（论文5） — 触觉与机器人学习交叉方向的里程碑，操作社区重点关注。
  4. Diffusion Forcing Planner（论文7） — 自动驾驶规划方向的最新进展，结合了生成模型与安全约束。
  5. MV-Actor（论文10） — 若涉及双臂操作或多视图融合，该方法在多视角语义对齐上具参考价值。

其余论文（1,2,6,8,9）也各有特色，但ARM、Next Forcing和TacForeSight代表了最值得第一时间深入研读的前沿突破。

Table of Contents

  1. An Exposure-Time-Aligned Primary-Path Architecture for Autonomous-Driving ECUs
  2. Kwai Keye-VL-2.0 Technical Report
  3. ARM: An AutoRegressive Large Multimodal Model with Unified Discrete Representations
  4. Next Forcing: Causal World Modeling with Multi-Chunk Prediction
  5. TacForeSight: Force-Guided Tactile World Model for Contact-Rich Manipulation
  6. RoboNaldo: Accurate, Stable and Powerful Humanoid Soccer Shooting via Motion-Guided Curriculum Reinforcement Learning
  7. Diffusion Forcing Planner: History-Annealed Planning with Time-Dependent Guidance for Autonomous Driving
  8. AllDayNav: Lifelong Navigation via Real-World Reinforcement Learning
  9. AgniNav: Configuration-Driven Cross-Embodiment Local Planning for Robot Navigation
  10. MV-Actor: Aligning Multi-View Semantics and Spatial Awareness for Bimanual Manipulation

Papers

An Exposure-Time-Aligned Primary-Path Architecture for Autonomous-Driving ECUs

Authors: Toru Saito, Yuki Hagura, Tatsuya Konishi, Satoru Mizusawa, Takumi Yajima

Published: 2026-06-09

Categories: cs.RO

Abstract:

While end-to-end (E2E) autonomous driving has become the dominant research direction, production vehicles continue to rely on modular multi-NN pipelines for a non-trivial transitional period. The subject of this paper is the design of an architecture that, during this phase, supports a modular pipeline and an E2E path side by side and embeds a path for staged migration. Transplanted to a production SoC, egalitarian late fusion is compute-inefficient and offers no natural unit for staged E2E substitution. As an alternative, we propose three design principles: (i) Primary-Path, which explicitly selects a primary perception chain and prioritizes its enclosure within a single SoC pair over the non-critical paths (ii) Exposure-Time-Aligned, which propagates the primary sensor's exposure time $τ_{\rm exp}$ as a tag along the chain and event-drives the fusion node on matched $τ_{\rm exp}$ rather than a fixed cycle and (iii) Co-Path Coexistence, which, building on (i) and (ii), lets an E2E output path co-run with the modular pipeline within the same $τ_{\rm exp}$ cycle. On a Dual-SoC production AD-ECU, the implementation closes camera-shutter to planner-output latency at a mean of 296 ms within the 350 ms design budget. Under (iii), the modular pipeline is primary at production launch and the E2E path runs as shadow on real vehicles, and the E2E scope is expanded as evaluation evidence accumulates.

Analysis:

论文分析：面向自动驾驶ECU的曝光时间对齐主路径架构

1. 摘要翻译

尽管端到端（E2E）自动驾驶已成为主流研究方向，但量产车型在过渡期内仍依赖模块化多神经网络（Multi-NN）管道。本文旨在设计一种架构，支持模块化管道与E2E路径并行运行，并提供分阶段迁移的路径。在量产SoC上，传统的对等后期融合（Egalitarian late fusion）计算效率低下，且无法为E2E替代提供自然的切入点。为此，我们提出了三项设计原则：(i) 主路径（Primary-Path），显式选择一条核心感知链并在单SoC对内实现优先级封装；(ii) 曝光时间对齐（Exposure-Time-Aligned），将主传感器的曝光时间 $\tau_{exp}$ 作为链路标签，替代固定的循环触发，实现事件驱动融合；(iii) 多路径共存（Co-Path Coexistence），支持E2E路径在相同 $\tau_{exp}$ 周期内与模块化管道并行运行。在双SoC量产AD-ECU上，该实现将从摄像头快门到规划器输出的平均延迟控制在296ms（设计预算350ms），并实现了确定性延迟与E2E平滑迁移。

2. 方法动机分析

  • 驱动力：在量产车向E2E架构演进的过程中，需要一种能够平衡现有模块化架构可靠性与未来E2E架构灵活性、且能在受限硬件资源下高效运行的方案。
  • 现有方法痛点：传统“对等后期融合”采用固定周期等待，导致：(1) 非确定性延迟：跨SoC边界的通信引入了不必要的抖动；(2) 算力浪费：被动等待最慢分支造成无效周期等待；(3) 缺乏迁移支撑：缺乏天然的模块化替换单元，难以分阶段引入E2E模型。
  • 研究假设：通过显式定义主感知链并使用物理传感器曝光时间 $\tau_{exp}$ 作为全局时序同步基准，可消除系统层面的非确定性，从而实现确定性的端到端延迟。

3. 方法设计详解

  • 流程总结：
    1. 定义主路径 (P1)：将包含主要传感器输入且符合未来E2E模型边界（如BEV视角）的感知链定义为“主路径”，将其封装在单个SoC内。
    2. $\tau_{exp}$ 传播 (P2)：将传感器捕获瞬间的曝光时间 $\tau_{exp}$ 作为核心元数据，随数据流贯穿整个处理链路，替代固定的100ms触发机制。
    3. 事件驱动同步 (P4)：融合节点（EM-TimeSync）不再等待固定时间，而是根据数据的 $\tau_{exp}$ 匹配度触发，非关键路径通过动力学模型（时间演化）对齐。
    4. 并行共存 (P3)：在主路径内嵌入E2E分支，与原有模块化路径在同一时间戳下并行运行，实现影子模式评估与平滑切换。
  • 算法解释：核心逻辑在于将“时间同步”从“被动接收”转变为“基于物理观测时间戳的流水线重构”，确保所有计算资源围绕 $\tau_{exp}$ 这一物理事实展开。

4. 方法对比分析

  • 本质区别：传统架构是“融合节点驱动”，本方法是“物理时钟（曝光时间）驱动”。
  • 创新贡献：提出了一种将模块化系统与E2E演进有机结合的控制架构，解决了多SoC环境下的确定性延迟问题。
  • 适用场景：高性能、多SoC、多传感器融合的量产级自动驾驶电子控制单元（AD-ECU）。

5. 实验分析

  • 验证方法：在双SoC量产平台上采集40万个事件轨迹，对比固定周期同步与本文提出的曝光对齐方案。
  • 关键结果：在传感器同步的前提下，系统实现了296ms的平均延迟，且通过了350ms的实时性硬指标。
  • 主要优势：显著降低了延迟抖动，为E2E算法的“影子模式”测试提供了完美的对齐基准。
  • 主要局限：对传感器侧的硬件同步（传感器触发锁定）有严格要求，若同步破坏，性能会发生剧烈退化。

6. 实用指南

  • 实现细节：关键在于确保传感器触发（Camera/LiDAR）严格锁定，并将此 $\tau_{exp}$ 贯穿中间件层。
  • 迁移可能：该架构原则适用于任何涉及“旧模块系统升级新E2E系统”的复杂计算环境，具备良好的平台迁移通用性。

7. 总结

  • 核心思想：以物理曝光时间为基准，重构确定性多路径感知融合架构。
  • 速记版pipeline：1.锁定传感器触发；2.将时间戳注入数据流；3.以时间戳而非固定周期驱动计算；4.并行对比输出。

Key Findings:

  • As an alternative, we propose three design principles: (i) Primary-Path, which explicitly selects a primary perception chain and prioritizes its enclosure within a single SoC pair over the non-critical paths (ii) Exposure-Time-Aligned, which propagates the primary sensor's exposure time $τ_{\rm exp}$ as a tag along the chain and event-drives the fusion node on matched $τ_{\rm exp}$ rather than a fixed cycle and (iii) Co-Path Coexistence, which, building on (i) and (ii), lets an E2E output path co-run with the modular pipeline within the same $τ_{\rm exp}$ cycle.

Links:

Kwai Keye-VL-2.0 Technical Report

Authors: Kwai Keye Team, Bin Wen, Changyi Liu, Chengru Song, Chongling Rao, Guowang Zhang, Han Li, Haonan Fan, Hengrui Ju, Jiankang Chen, Jiapeng Chen, Jiawei Yuan, Kaixuan Yang, Kaiyu Jiang, Kun Gai, Lingzhi Zhou, Na Nie, Sen Na, Tianke Zhang, Tingting Gao, Xuanyu Zheng, Yulong Chen, Fan Yang, Haixuan Gao, Lele Yang, Mingqiao Liu, Muxi Diao, Qi Zhang, Qile Su, Wei Chen, Wentao Hong, Xingyu Lu, Yancheng Long, Yankai Yang, Yingxin Li, Yiyang Fan, Yu Xia, Yuzhe Chen, Ziliang Lai, Chuan Yi, Haonan Jia, Tianming Liang, Weixin Xu, Xiaoxiao Ma, Yang Tian, Yufei Han, Feng Han, Hang Li, Jing Wang, Jinghui Jia, Junmin Chen, Junyu Shi, Ruilin Zhang

Published: 2026-06-09

Categories: cs.CV

Abstract:

We introduce Kwai Keye-VL-2.0-30B-A3B, an open-source Mixture-of-Experts (MoE) multimodal foundation model designed to advance long-video understanding and agentic intelligence. To address the challenges of ultra-long contexts, information redundancy, and prohibitive computational costs inherent in hour-level videos, Keye-VL-2.0 is the first to adapt DeepSeek Sparse Attention (DSA) to GQA-based multimodal architectures, enabling lossless 256K context processing while capturing critical frames and long-range temporal dependencies. This architecture is underpinned by a highly optimized training and inference infrastructure, including scalable video I/O, heterogeneous ViT-LM parallelism, and custom DSA kernels that significantly maximize throughput and minimize computational overhead. Furthermore, to overcome the algorithmic dilemma of catastrophic forgetting during multi-task alignment, we introduce Cross-Modal Multi-Teacher On-Policy Distillation (MOPD) paired with Context-RL and Video-RL. By distilling dense token-level teacher feedback from on-policy rollouts back into the MoE backbone, which activates only 3B parameters, Keye-VL-2.0 natively empowers advanced agent collaboration across Code, Tool, and Search scenarios with multimodal self-correction. Extensive evaluations across video understanding, temporal grounding, reasoning, STEM, and agent benchmarks demonstrate that Keye-VL-2.0-30B-A3B achieves state-of-the-art performance among models of similar scale, particularly excelling in fine-grained temporal localization on TimeLens and long-video comprehension on Video-MME-v2 and LongVideoBench. We release our model checkpoints to accelerate community progress toward scalable and robust multimodal agentic applications.

Analysis:

作为计算机视觉和机器学习领域的专家，我对这篇关于 Kwai Keye-VL-2.0 的技术报告分析如下：

1. 核心贡献摘要

Kwai Keye-VL-2.0 是一款先进的开源混合专家（MoE）多模态大模型，旨在解决超长视频理解与智能体（Agent）协作的难题。该模型通过创新的架构优化实现了 256K 上下文的无损处理，并在保持高性能的同时，通过高效的蒸馏技术显著提升了模型在复杂任务中的推理与自纠错能力。

2. 关键创新与方法论

该论文的核心技术突破集中在以下三点：

  • 架构创新（DeepSeek Sparse Attention + MoE）： 首次将 DeepSeek 的稀疏注意力机制（DSA）应用于 GQA 多模态架构，实现了长视频任务中的高效计算与长时序依赖捕捉。MoE 架构（30B 总参数，3B 激活参数）在大幅降低计算开销的同时，保持了强大的任务承载力。
  • 训练策略（MOPD 与 Context/Video-RL）： 引入了“跨模态多教师在线策略蒸馏（MOPD）”，结合强化学习（RL），有效缓解了多任务对齐中的灾难性遗忘问题，并增强了模型在代码、工具使用及搜索场景下的自纠错能力。
  • 基础设施优化： 针对海量视频处理，研发了定制化的 DSA 内核、异构 ViT-LM 并行方案以及可扩展的视频 I/O，极大地提升了模型的吞吐量。

3. 对领域的潜在影响

  • 重新定义长视频理解的门槛： 256K 的无损上下文处理能力使得模型能够从“看懂片段”进阶到“理解小时级长视频的完整叙事逻辑”，这在视频检索、长视频分析等领域具有重要参考价值。
  • 推理与智能体的深度结合： 该模型不再仅限于被动理解，而是强调了多模态智能体的主动协同能力，展示了从“视觉感知”向“视觉决策”转变的范式。
  • 开源社区价值： 作为一个具备高性能和 agent 能力的 MoE 模型，其开源将极大降低学术界和工业界复现复杂智能体应用（如自动化视频编辑、长视频智能助手）的门槛。

4. 相关领域与应用建议

  • 工业界： 长视频监控分析、自动驾驶中的场景长程决策、影视内容自动化理解与标注。
  • 学术界： 多模态长时序评估基准（如 Video-MME-v2）、稀疏注意力机制在视觉领域的进一步优化、以及复杂的模型对齐（Alignment）策略研究。
  • 智能体应用： 需要跨模态理解并调用外部工具执行复杂任务的“视觉 Agent”，例如基于视频内容的自动化编程助手。

5. 可推断的局限性

  • 特定算力依赖： 尽管采用了稀疏注意力（DSA）优化，但 256K 的长上下文处理依然对 GPU 显存和定制化内核有极高要求，这可能限制了该模型在低端消费级硬件上的推理能力。
  • 动态环境下的鲁棒性： 虽然在学术基准（TimeLens, LongVideoBench）上表现优异，但在处理真实世界中极度复杂、噪声极大的原始视频流时，模型在视频时序定位的精确度（Fine-grained localization）可能仍会受到长时序信息干扰的影响。
  • 蒸馏模型的潜在偏见： 通过多教师蒸馏（MOPD）进行训练，模型可能继承了教师模型的固有偏见（Bias），在某些开放性任务中可能表现出特定的归纳偏差。

专家总结： Kwai Keye-VL-2.0 的出现代表了多模态模型从“静态图文匹配”向“动态时序决策”进化的重要一步。其最大的趣味性在于如何将稀疏计算（DSA）与强化学习（RL）有机结合，以极小的激活参数量（3B）撬动极大的推理复杂度，这是当前多模态大模型追求计算效率与智能涌现平衡的一个极佳范式。

Key Findings:

  • We introduce Kwai Keye-VL-2.0-30B-A3B, an open-source Mixture-of-Experts (MoE) multimodal foundation model designed to advance long-video understanding and agentic intelligence.
  • Furthermore, to overcome the algorithmic dilemma of catastrophic forgetting during multi-task alignment, we introduce Cross-Modal Multi-Teacher On-Policy Distillation (MOPD) paired with Context-RL and Video-RL.
  • Extensive evaluations across video understanding, temporal grounding, reasoning, STEM, and agent benchmarks demonstrate that Keye-VL-2.0-30B-A3B achieves state-of-the-art performance among models of similar scale, particularly excelling in fine-grained temporal localization on TimeLens and long-video comprehension on Video-MME-v2 and LongVideoBench.

Links:

ARM: An AutoRegressive Large Multimodal Model with Unified Discrete Representations

Authors: Junke Wang, Xiao Wang, Jiacheng Pan, Xuefeng Hu, Feng Li, Jingxiang Sun, Chaorui Deng, Zilong Chen, Yunpeng Chen, Kaibin Tian, Matthew Gwilliam, Hao Chen, Danhui Guan, Kun Xu, Weilin Huang, Zuxuan Wu, Haoqi Fan, Yu-Gang Jiang, Zhenheng Yang

Published: 2026-06-09

Categories: cs.CV

Abstract:

This paper introduces ARM, a discrete representation-based AutoRegressive Model that unifies image understanding, generation, and editing within a next-token prediction framework. ARM is built on three efforts: first, we train a discrete semantic visual tokenizer that maps images into compact token sequences. Our tokenizer is supervised with multiple objectives that jointly promote semantic discriminability, language alignment and faithful reconstruction, thereby supporting diverse tasks in a shared latent space. With this, we train a 7B autoregressive model over large-scale text and image token sequences, seamlessly developing vision-language perception and generation capabilities. Finally, to further improve preference-aligned behavior for text-to-image generation and instruction-guided editing, ARM applies reinforcement learning (RL) to optimize task-level objectives such as visual quality, instruction adherence, and edit consistency. Surprisingly, the results show that RL not only substantially improves performance on the target tasks (e.g., raising WISE overall from 0.50 to 0.56, GEdit-Bench-EN G_O from 5.75 to 6.68), but also induces cross-task synergy between text-to-image generation and editing. Collectively, these findings highlight autoregressive modeling, when paired with strong representations and preference optimization, as a scalable foundation for multimodal intelligence. Code: https://github.com/wdrink/ARM.

Analysis:

ARM 论文深度分析

1. 摘要翻译

本文介绍了ARM（AutoRegressive Model），一种基于离散表示的自回归模型，在一个统一的预测框架内实现了图像理解、生成和编辑。ARM基于三项关键工作：首先，训练了一个离散语义视觉分词器（Tokenizer），将图像映射为紧凑的标记序列，该分词器通过联合优化语义判别、语言对齐和忠实重建来支持多种任务；其次，在一个7B参数的自回归模型上进行大规模文本和图像序列训练，无缝结合了视觉-语言感知与生成能力；最后，为了进一步提升文本到图像生成和指令引导编辑的偏好对齐效果，ARM应用强化学习（RL）优化任务目标。结果表明，强化学习不仅显著提高了目标任务性能，还促进了生成与编辑任务间的跨任务协同。

2. 方法动机分析

  • 驱动力：解决多模态模型中“理解”与“生成”任务在视觉表示上的长期不匹配问题。
  • 现有方法痛点：现有方法通常依赖独立的编码器，导致结构碎片化、跨空间对齐困难，且在推理时产生大量的冗余计算负担。
  • 研究假设：通过统一的离散语义视觉表示，配合强化学习进行 preference alignment，可以在单一 autoregressive 框架下实现理解与生成的性能双赢。

3. 方法设计详解

  • pipeline总结：
    1. 视觉分词（Tokenization）：利用 SigLIP2 作为固定骨干，通过 FSQ（Finite Scalar Quantization）将视觉特征离散化。
    2. 多任务监督训练：使用四重损失函数（Caption loss、Pixel reconstruction loss、Sigmoid contrastive loss、Feature distillation loss）约束分词器，使其兼顾语义信息与重建细节。
    3. 自回归建模：将图像与文本统一编码为离散序列，输入基于 Qwen2.5-7B 的 LLM 进行下一标记预测。
    4. 偏好对齐（RL）：在预训练模型基础上，使用 GRPO（Group Relative Policy Optimization）算法，引入 GPT-o3/GPT-4.1 作为奖励模型，直接针对视觉标记预测进行精细化调整。
  • 模型结构：Tokenizer 采用包含 FSQ 的对称投影模块；后端使用 7B 参数的 Transformer 模型；解码端采用预训练的 Latent Diffusion 模型（FLUX.1）作为渲染器。
  • 关键公式意义：$L_{Tok}$ 通过加权平衡实现了语义对齐（Caption/Sigmoid loss）与低层像素保真度（Pixel loss）的妥协；$L_{GRPO}$ 引入 KL 散度约束，确保模型在提升偏好对齐的同时不偏离原有的理解能力。

4. 方法对比分析

  • 本质区别：ARM 不是简单地将不同模型堆叠，而是通过训练一个“兼顾语义与重建”的视觉分词器，将图像彻底转化为“语言化”的标记，从而让统一的自回归架构同时处理跨模态任务。
  • 创新贡献：提出了一种支持联合优化理解与生成的统一分词器，并证明了基于标记的强化学习能够诱导出跨任务协同。

5. 实验分析

  • 关键结果：在 MMMU 上达到 40.2，POPE 达到 87.3；在图像编辑任务 GEdit-Bench 上通过 RL 将 G_O 分数从 5.75 提升至 6.68。
  • 优势：极强的多任务统一性；减少了对 Classifier-free Guidance (CFG) 的依赖，从而加速推理。
  • 局限：模型性能仍依赖于庞大的预训练数据规模；RL 阶段对高质量奖励模型的依赖较强。

6. 实用指南

  • 开源情况：项目主页为 https://github.com/wdrink/ARM。
  • 实现细节：tokenizer 训练采用 AdamW，批次大小 32,768；RL 阶段需使用 VeRL 框架。
  • 迁移建议：分词器训练的四重损失设计可以直接迁移至其他以图像为中心的统一架构中，特别是当你需要同时进行 VLM 理解和 AIGC 生成时。

7. 总结

  • 核心思想：统一离散视觉表示，结合强化学习实现跨任务感知与生成的协同。
  • 速记版pipeline：
    1. 训练兼顾语义与视觉细节的离散分词器。
    2. 通过自回归 Transformer 统一建模文本与视觉标记。
    3. 使用强化学习直接优化视觉标记的预测概率。
    4. 由高性能扩散模型作为渲染器输出最终像素。

Key Findings:

  • Surprisingly, the results show that RL not only substantially improves performance on the target tasks (e.g., raising WISE overall from 0.50 to 0.56, GEdit-Bench-EN G_O from 5.75 to 6.68), but also induces cross-task synergy between text-to-image generation and editing.

Links:

Next Forcing: Causal World Modeling with Multi-Chunk Prediction

Authors: Gangwei Xu, Qihang Zhang, Jiaming Zhou, Xing Zhu, Yujun Shen, Xin Yang, Yinghao Xu

Published: 2026-06-09

Categories: cs.CV

Abstract:

Autoregressive video generation has emerged as a powerful paradigm for World Action Models (WAMs). However, existing approaches suffer from slow training convergence and limited converged accuracy, particularly at high frame rates, as the training supervision is confined to the current chunk without explicit signals about future dynamics; they also suffer from slow inference due to iterative video denoising. In this paper, we present Next Forcing, a multi-chunk prediction (MCP) framework for causal world modeling that enables faster training, higher accuracy, and accelerated inference. Inspired by multi-token prediction in large language models, Next Forcing introduces an MCP training objective that augments the main model with lightweight auxiliary MCP modules to simultaneously denoise video chunks at multiple future temporal horizons (next$^1$, next$^2$, next$^3$ chunks). These MCP modules form a causal chain across prediction depths, where intermediate features fused from multiple layers of the main model are leveraged to predict future dynamics, allowing near-future predictions to inform farther-future ones and providing dense multi-scale temporal supervision back to the main model. During training, the MCP modules significantly accelerate convergence and improve converged accuracy, especially at high frame rates: at 50 fps, Next Forcing achieves a 93.1% relative improvement over LingBot-VA at 5k training steps and 2.3x faster convergence, and establishes new state-of-the-art results on the RoboTwin benchmark (94.1/93.5% on Clean/Random). At inference, the MCP modules can be retained to predict the next video chunk in parallel with the current one, achieving 2x inference acceleration. Next Forcing also demonstrates significant improvements on PhyWorld, a benchmark evaluating adherence to physical laws in video generation, and over 50% FVD reduction on general video pretraining.

Analysis:

下一代强制（Next Forcing）论文分析

1. 摘要翻译

自回归视频生成已成为世界行动模型（WAMs）的强大范式。然而，现有方法在训练收敛速度和收敛精度上存在瓶颈，特别是在高帧率下。这是因为训练监督局限于当前片段，缺乏关于未来动态的显式信号；同时，由于迭代视频去噪过程，推理速度缓慢。本文提出了“Next Forcing”，一种用于因果世界建模的多片段预测（MCP）框架，实现了更快的训练、更高的精度和加速推理。受大语言模型多Token预测启发，Next Forcing引入了一种MCP训练目标，通过轻量级辅助MCP模块，在多个未来时间尺度（next1, next2, next3片段）上同步对视频进行去噪。这些模块构成跨预测深度的因果链，融合主模型多层中间特征来预测未来动态，从而不仅提供dense多尺度监督，还使得近未来预测能够引导远未来预测。实验表明，该方法显著提升了收敛速度与最终精度（例如在50fps下训练速度提升2.3倍），并在RoboTwin基准上达到SOTA。推理时，MCP模块可保留用于并行预测，实现2倍推理加速。

2. 方法动机分析

  • 驱动力：解决自回归视频模型在训练时的“短视监督（Myopic Supervision）”问题。
  • 痛点：视频片段间高度相似，模型倾向于学习“恒等映射”这一视觉捷径，而非真正理解环境演变的物理动态。在高帧率场景下，这种捷径极其“廉价”，导致模型无法学到长程依赖。
  • 研究假设：通过强制模型进行多时间尺度的多片段预测，迫使其脱离单纯的当前帧去噪，从而建立对物理演变轨迹的深层理解。

3. 方法设计详解

  • 核心Pipeline：
    1. Temporal Chunk Shifting：构造多维度目标。主模型预测当前片段$i$，MCP模块并行预测未来片段$i+k$（$k \in {1,2,3}$）。
    2. Multi-Layer Feature Fusion：MCP模块不只依赖主模型最后一层，而是融合第4、12、20、30层的隐藏状态，通过MLP压缩后作为输入。这让监督梯度能直接穿透到主模型早中期的深层结构。
    3. Causal Chain Across Depths：MCP模块呈链式连接，深度为$k$的模块依赖深度为$k-1$的特征输出，增强了预测的时间一致性。
    4. Independent Noise Injection：MCP模块使用独立的高时间步偏移量（$s_{mcp} > s_{main}$），强制其在更复杂的噪声下必须更依赖主模型提供的强表征，避免自身成为单纯的噪声过滤器。
  • 算法精髓：将局部逐帧训练转变为轨迹层级的多步预测任务，利用多层特征融合实现“跨维度”监督反向传播。

4. 方法对比分析

  • 本质区别：传统方法只关注“当前时刻去噪”，而Next Forcing不仅关注当前，还强制要求模型理解“未来时刻的演变”。
  • 创新贡献：将多Token预测范式成功跨模态引入连续视频潜在空间，并设计了因果链式结构与多层监督融合机制。
  • 适用场景：高帧率、复杂动态、对物理逻辑要求极高的视频生成或世界模型任务。

5. 实验分析（精简版）

  • 验证方法：在RoboTwin与PhyWorld基准上进行对比，并评估推理加速效果。
  • 关键结果：在50fps下，收敛速度提升2.3倍，在RoboTwin Clean/Random基准上刷新SOTA（94.1%/93.5%）。
  • 主要优势：极大地抑制了视觉捷径导致的训练停滞，实现了训练收敛与推理加速的双赢。
  • 主要局限：MCP模块引入了额外的训练计算开销。

6. 实用指南

  • 开源情况：已开源，项目网站：https://gangweix.github.io/next-forcing/。
  • 实现建议：关键在于$s_{mcp} > s_{main}$的设置，这一超参数对解耦监督信号至关重要；多层特征融合（$h_{4,12,20,30}$）是梯度传播到主模型的关键。
  • 迁移性：该框架与特定的去噪器架构解耦（只要是Autoregressive架构皆可），易于迁移至现有如Diffusion-based或Flow-matching-based的视频生成框架中。

7. 总结

  • 核心思想：通过预测未来多个视频片段，强迫模型习得深层物理动态逻辑。
  • 速记版Pipeline：
    1. 训练时不仅算当前帧的损失，同时计算未来三个片段的预测损失。
    2. 将主模型中间层的隐藏状态“抽取”出来送入辅助模块。
    3. 辅助模块链式连接，后级依赖前级信息。
    4. 推理时辅助模块直接预测未来片段，实现并行加速。

Key Findings:

  • In this paper, we present Next Forcing, a multi-chunk prediction (MCP) framework for causal world modeling that enables faster training, higher accuracy, and accelerated inference.
  • During training, the MCP modules significantly accelerate convergence and improve converged accuracy, especially at high frame rates: at 50 fps, Next Forcing achieves a 93.1% relative improvement over LingBot-VA at 5k training steps and 2.3x faster convergence, and establishes new state-of-the-art results on the RoboTwin benchmark (94.1/93.5% on Clean/Random).

Links:

TacForeSight: Force-Guided Tactile World Model for Contact-Rich Manipulation

Authors: Yujie Zang, Yuhang Zheng, Xian Nie, Yupeng Zheng, Shuai Tian, Songen Gu, Chen Gao, Zining Wang, Shuicheng Yan, Wenchao Ding

Published: 2026-06-09

Categories: cs.RO

Abstract:

Contact-rich manipulation requires robots to continuously perceive and regulate evolving physical interactions under dynamic contact transitions or complex surface geometries. Recent imitation learning methods improve contact-aware control by incorporating tactile or force feedback, but they rarely model the asymmetric spatiotemporal roles of global force and local tactile sensing. To address this, we propose TacForeSight, a lightweight force-conditioned tactile foresight framework for real-time manipulation. The core component is TacForceWM, a tactile world model that predicts short-horizon tactile latent dynamics from dual-finger tactile observations conditioned on high-frequency wrist force and torque signals. Another key component, the Predictive Tactile-Conditioned Policy, leverages the predicted latents as anticipatory contact priors, models the current-to-future tactile evolution via cross-attention, and adaptively fuses visuo-tactile features through a tactile-guided gating module. By forecasting purely within a compact latent space, TacForeSight enables proactive contact reasoning with efficient real-time inference suitable for high-frequency manipulation control. Real-robot experiments on five representative tasks and three in-process perturbation settings show that TacForeSight consistently outperforms existing baselines, particularly under dynamic contact disturbances. All models and datasets will be made publicly available on the project website at https://tacforesight.github.io/ProjectPage.

Analysis:

这是一份关于论文《TacForeSight: Force-Guided Tactile World Model for Contact-Rich Manipulation》的深入分析。

1. 摘要翻译

接触丰富的操作要求机器人在动态接触转换或复杂表面几何形状下持续感知并调节物理交互。现有的模仿学习方法虽提升了接触感知控制，但鲜少对全局力与局部触觉传感的非对称时空角色进行建模。为此，我们提出了 TacForeSight，一种用于实时操作的轻量级力条件触觉预测框架。核心组件 TacForceWM 作为一个触觉世界模型，通过高频腕部力/扭矩信号调节，预测双指触觉观测的短视界触觉潜空间动态。另一个核心组件 预测性触觉条件策略（Predictive Tactile-Conditioned Policy） 将预测的潜变量作为 anticipatory（预期）接触先验，通过交叉注意力模型化当前到未来的触觉演变，并利用触觉引导的门控模块自适应融合视觉与触觉特征。通过在紧凑潜空间内进行预测，TacForeSight 实现了高效的主动接触推理，适用于高频控制。实验表明，该方法在多种接触密集型任务及扰动场景下均显著优于现有基线。

2. 方法动机分析

  • 驱动力：人类在操作中利用负载变化（Force）来预判物体交互状态并引导局部调整（Tactile）。作者希望在机器人中模拟这种“从力到触觉”的预测过程。
  • 现有方法痛点：现有方法多将力与触觉视作独立的辅助观测进行简单融合（如直接拼接），忽略了物理交互中“力变化总是领先于触觉响应”的非对称时空依赖。
  • 研究假设：通过显式建模力信号对未来触觉状态的条件预测，可以提取预期的接触先验，从而解决实时控制中的响应滞后问题。

3. 方法设计详解

流程 Pipeline：

  1. 输入处理：双指触觉（CNN编码）+ 腕部六轴力/扭矩（时序编码）。
  2. TacForceWM 训练：利用力序列 $c_{t-H:t}$ 条件化预测触觉潜变量 $\hat{z}_{t-H+\Delta:t+\Delta}$，采用“分块预测（Chunk-based）”而非单步预测，保证时间一致性。
  3. 策略融合：将当前触觉 latents 与预测的未来 latents 通过 Cross-Attention 对齐，生成“未来感知”的触觉表征。
  4. 自适应门控：利用预测得到的触觉表征，通过 sigmoid 门控模块决定在当前观测中“关注”多少视觉信息 vs 触觉信息。
  5. 动作输出：采用流匹配（Flow-matching）动作头，输出动作序列。

模型结构：

  • 触觉 Tokenizer：混合 CNN-Transformer，将触觉场转化为紧凑 Token，并加入空间/手指身份 Embedding。
  • AdaLN（自适应层归一化）：在预测器中注入力条件，使触觉预测动态适应不同的外部力场。

4. 方法对比分析

  • 本质区别：从传统的“被动反馈感知”转变为“主动预测式感知”，将力传感器定义为触觉状态的 Leading Indicator（先行指标）。
  • 创新点：
    1. 非对称时空建模：利用力数据的超前性预测未来的触觉动态。
    2. 触觉引导的视觉门控：依据接触状态动态调节视觉权重，在接触瞬间提升触觉感知比重。
  • 适用场景：精细插入、滑动、接触受限的复杂任务。

5. 实验分析

  • 验证方法：在5个基准任务（如灯泡插入、卡片滑动等）及3个扰动场景下进行真机测试。
  • 关键结果：在扰动场景（高度/角度/姿态受限）下表现出极强的鲁棒性，平均成功率遥遥领先于单纯的视觉或力感知策略。
  • 主要局限：模型依赖于高质量的触觉观测，对传感器安装位置和校准有一定要求。

6. 实用指南

  • 开源情况：项目主页 https://tacforesight.github.io/（预计开源）。
  • 实现细节：
    • 训练：必须确保力/触觉数据的对齐（采样率比例 $n$）。
    • 预测：重点在于分块预测的损失函数 Lpred 中包含一阶时序差分，这是保持预测平滑性的关键。
  • 迁移性：该“先预测再决策”范式极其适用于任何涉及物理接触的机器人操作任务。

7. 总结

  • 核心思想：以腕部力信号为先验，通过世界模型预测触觉进化，引导主动式触觉操控。
  • 速记版 Pipeline：
    1. 将触觉和力数据编码为潜在表征。
    2. 利用过去力/触觉数据预测未来触觉状态。
    3. 将预测状态注入策略网络，作为接触先验。
    4. 动态调整视觉与触觉权重进行感知融合。
    5. 通过流匹配模型预测最终控制动作。

Key Findings:

  • To address this, we propose TacForeSight, a lightweight force-conditioned tactile foresight framework for real-time manipulation.
  • Real-robot experiments on five representative tasks and three in-process perturbation settings show that TacForeSight consistently outperforms existing baselines, particularly under dynamic contact disturbances.

Links:

RoboNaldo: Accurate, Stable and Powerful Humanoid Soccer Shooting via Motion-Guided Curriculum Reinforcement Learning

Authors: Yichao Zhong, Yidan Lu, Yuhang Lu, Tianyang Tang, Haoguang Mai, Yixuan Pan, Tianyu Li, Li Chen, Jingbo Wang, Zhongyu Li, Peng Lu, Hongyang Li

Published: 2026-06-09

Categories: cs.RO, cs.AI

Abstract:

Elite humanoid soccer shooting requires whole-body stability, high-impulse whole-body interactions, and accuracy to targets. Motion tracking-driven reinforcement learning (RL) provides stability in whole-body movement coordination, but a fixed reference makes it hard to adapt to varied ball positions and strike timings; in contrast, task reward-driven RL struggles to explore and discover valid kicks from scratch. We therefore introduce RoboNaldo, a three-stage motion-guided curriculum RL framework for high-impulse humanoid interaction. A single human-kick reference is used as a scaffold and progressively shifts optimization towards shooting performance. The curriculum first learns a stable whole-body kicking prior, then adapts the kick to free-kick settings where the ball is stationary at random positions, and finally extends it to moving-ball shooting through a locomotion-command and kick-trigger interface. A high-level heuristic planner controls this interface during training, while alternative high-level controllers can drive the same low-level policy at inference. In simulation, RoboNaldo demonstrates free-kick shot error 48.6% lower and shoot velocity 2.96x than prior work baselines. In real world on a Unitree G1 with onboard perception, RoboNaldo attains 0.73 m and 0.86 m average target shooting error from 3 m away in free-kick and moving-ball cases, accordingly. And the post-contact ball velocity reaches 13.10 m/s, which is 59-71% of reported professional open-play shot speed. Project page: $\href{https://opendrivelab.com/RoboNaldo}{\text{opendrivelab.com/RoboNaldo}}$.

Analysis:

1. 摘要翻译

精英人形机器人足球射门需要全身稳定性、高冲量交互以及目标精确度。基于动作跟踪的强化学习（RL）能提供稳定的全身协调性，但在面对多变的球位和击球时机时，固定参考动作难以适应；而基于任务奖励的RL则难以从零开始探索出有效的击球动作。为此，我们提出了RoboNaldo，这是一个用于高冲量人形交互的三阶段运动引导课程学习框架。该框架以人类踢球动作为参考支架，逐步将优化重心转向射门性能。课程首先学习稳定的全身踢球先验，随后适应球位随机的任意球场景，最后通过运动指令与踢球触发器接口扩展至移动球射门。

2. 方法动机分析

  • 驱动力：旨在解决人形机器人在高动态、短时程交互任务（如足球射门）中，难以兼顾全身稳定性、高精度与高功率的问题。
  • 痛点：现有方法在“跟踪（稳定性）”与“任务（性能）”之间存在矛盾。基于动作跟踪的方法过于依赖参考轨迹，缺乏对不同球位和时机的鲁棒性；单纯依赖RL探索空间过大，难以产生高价值的接触动作。
  • 研究假设：通过分阶段课程学习，先建立稳健的全身运动先验，再引入任务奖励进行适应，最后通过解耦的触发机制处理时空对齐，能有效将复杂的高冲量交互问题转化为可学习的阶段性问题。

3. 方法设计详解

  • 流程总结：
    • 阶段1（动作跟踪）：利用人类踢球视频 retargeting 后的运动数据，通过BeyondMimic训练一个基础踢球先验，建立全身协调性。
    • 阶段2（射门适应）：引入球与目标的观测，对球位进行随机化，训练策略在保持运动先验的基础上，根据球的位置调整触球点和击球力度，实现精确射门。
    • 阶段3（任务泛化）：引入移动球场景，设计“启发式规划器 + 低级策略”架构。规划器负责处理 locomotion 指令并根据预测的球迹触发踢球动作，实现 Approach-Strike-Stabilize 的完整链条。
  • 模型与算法：
    • Instant Interaction Reward：针对足球射门仅3-5ms的接触窗口，设计了综合接触、力度和目标指向的复合奖励，避免在短时间内产生梯度坍塌。
    • Densified Shooting Reward：通过球体轨迹的弹道外推，将远距离的目标误差提前转化为每一步的即时反馈，解决了延迟奖励的信用分配问题。
    • Proximity-based Relaxation：在靠近球时，自动降低对原始运动先验的跟踪权重，允许机器人牺牲部分“姿态美感”来换取更符合物理规律的有效触球。

4. 方法对比分析

  • 本质区别：与传统“端到端RL”或“纯姿态跟踪”不同，RoboNaldo通过行为触发器（Kick-trigger）显式分离了“运动控制”与“击球决策”，实现了时域上的解耦。
  • 创新点：提出了“三阶段运动引导课程”，通过近邻感知松弛机制，在保持人形稳定性的前提下，赋予了策略极高的交互灵活性。
  • 适用场景：高动态、需极短时程精准物理交互的全身人形控制任务。

5. 实验分析

  • 验证方法：在Isaac Lab仿真器中进行4096并行环境训练，并在Unitree G1实机上进行移动球踢球实验。
  • 结论：在仿真中射门误差降低48.6%，速度提升2.96倍。在实机上，面对移动球实现了74%的有效接触率，平均射门误差小于1米。
  • 优势：极强的sim-to-real泛化能力；对移动球的击球时机决策准确。
  • 局限：感知系统目前仍依赖特定反光球体，对复杂环境的适应性有待进一步提升。

6. 实用指南

  • 实现细节：在训练中，必须严格处理联合索引重映射（Isaac Lab与Unitree SDK顺序不同）。
  • 参数建议：阶段3的gi(d)（近球衰减因子）是平衡稳定性与性能的关键，建议在接触瞬时赋予脚部接近自由的控制权。
  • 迁移思路：该分阶段课程框架（跟踪 -> 适应 -> 显式触发决策）可直接迁移至机器人挥拍、击剑或抓取抛接等任务。

7. 总结

  • 核心思想：分阶段课程学习协同触发机制，实现复杂高冲量交互。
  • 速记版Pipeline：
    1. 学习人类动作先验。
    2. 引入球与目标，学习适应性射门。
    3. 加入触发器，处理移动球时机匹配。
    4. 部署时通过规划器驱动低级策略。

Key Findings:

Links:

Diffusion Forcing Planner: History-Annealed Planning with Time-Dependent Guidance for Autonomous Driving

Authors: Zehan Zhang, Neng Zhang, Yaoyi Li, Jia Cai, Zhiling Wang

Published: 2026-06-09

Categories: cs.RO, cs.AI

Abstract:

Learning-based motion planners, despite recent progress, often suffer from temporal inconsistency. Small perturbations across frames can accumulate into unstable trajectories, degrading comfort and safety in closed-loop driving. Several methods attempt to inject history as a static conditioning signal to stabilize outputs, only to induce the planner to copy historical patterns instead of adapting to environment contexts. To address this limitation, we propose Diffusion Forcing Planner (DFP), a diffusion-based planning framework driven by history-guided control. Specifically, DFP decomposes the full trajectory into history, current and future segments, and assign independent noise levels to each segment. The model jointly denoises the historical and the future segments, enforcing a heterogeneous joint diffusion process. At inference, classifier-free guidance (CFG) is applied to steer future sampling using annealed history in a controllable manner. Closed-loop evaluation and comprehensive ablations on nuPlan show that DFP achieves competitive performance while producing continuous, stable, and controllable motion plans in complex driving scenarios.

Analysis:

1. 摘要翻译

基于学习的运动规划器虽然取得了一定进展，但常面临时间不一致性的问题。跨帧的微小扰动会累积成不稳定的轨迹，降低闭环驾驶的舒适性和安全性。现有方法倾向于将历史信息作为静态调节信号，却往往诱导规划器机械地复制历史模式，而非根据环境上下文进行调整。为了解决这一局限，我们提出了“扩散驱动规划器”（Diffusion Forcing Planner, DFP），这是一种由历史引导控制的扩散式规划框架。DFP将完整轨迹分解为历史、当前和未来片段，并为每个片段分配独立的噪声水平，从而实现异构的联合扩散过程。在推理时，我们应用分类器无关引导（CFG）对历史信息进行时间依赖的退火处理，在保持闭环性能的同时，生成连续、稳定且可控的运动规划。在nuPlan上的评估表明，DFP在复杂驾驶场景下具有竞争力的性能。

2. 方法动机分析

  • 驱动力：旨在解决扩散策略中常见的“时间不一致性”问题，同时避免规划器陷入对历史轨迹的盲目复制，提升模型对环境动态变化的响应能力。
  • 现有痛点：
    1. 非马尔可夫困境：运动规划本质上依赖过去，但将历史作为静态条件输入易导致“因果混淆”，模型倾向于记忆历史模式而非推断因果。
    2. 不稳定性：简单注入历史信息会导致帧间轨迹波动，而完全丢弃历史又会牺牲时间连续性。
  • 研究假设：通过“带噪声引导”的历史调节，能够平衡历史记忆的稳定性与当前场景适应性，即通过控制历史的“退火”程度来动态调节其影响权重。

3. 方法设计详解

  • 流程与模型结构：
    1. 轨迹分块（Chunking）：将轨迹划分为历史、当前和未来片段。当前状态设为无噪声边界。
    2. 异构扩散训练：为不同片段分配独立的时间步$t$，利用“无噪即掩蔽”机制，让模型学习在不同历史可用性下的联合分布。
    3. 历史退火CFG推理：这是核心创新点，包含两个平行分支：
      • 无引导分支：用噪声代替历史，避免历史信息泄露。
      • 引导分支：将历史信息注入，并通过时间依赖的退火函数$X_{guidance} = \alpha(t)X_{history} + \sigma(t)\epsilon$处理，使得早期扩散步骤受历史干扰较小，晚期则逐渐回归真实历史约束。
    4. CFG融合：通过线性插值融合两分支输出，由超参数$w$控制对历史的依赖度。
  • 关键算法：通过调整$\beta$（退火指数）和$w$（权重系数），实现对历史约束的“软化”，既能保持平滑的轨迹流，又能及时响应突发环境变化。

4. 方法对比分析

  • 本质区别：传统方法将历史视为静态条件或完全舍弃；DFP将历史视为可动态调节的“引导项”，引入了时间步级别的噪声退火，具备显式的可控性。
  • 创新贡献：提出了一种基于块级扩散（Diffusion Forcing）的历史引导机制，解决了运动规划中长期的“历史依赖 vs. 场景适应”矛盾。
  • 适用场景：适用于需要极高平滑度和交互一致性的闭环自动驾驶规划任务，尤其是复杂路口和多车交互场景。

5. 实验分析

  • 验证方法：在nuPlan的非反应式（NR）和反应式（R）设定下，对比了PDM-Open、GameFormer等模型，并进行了消融实验。
  • 关键结果：在nuPlan Val14上，DFP较基线Diffusion Planner提升明显，特别是在高速度和交互场景下，Comfort指标显著提升（提升30+点），验证了该方法在平滑轨迹生成上的有效性。
  • 优势/局限：优势是极大地提升了闭环稳定性与舒适性；局限在于对超参数（$w, \beta$）较为敏感，调优成本较高。

6. 实用指南

  • 开源与复现：作者已在nuPlan数据集上验证，建议参考Diffusion Planner的代码库进行实现。
  • 关键步骤：
    1. 分块设置：$N=6, L=20$是平衡计算量与语义信息的最佳实践。
    2. 训练技巧：对噪声水平$t$采用Beta分布采样，促使模型覆盖极度接近真实与极度模糊的两个边界。
    3. 迁移可能：该机制可轻松迁移至机器人运动控制或任何需要参考过去动作序列的生成式任务中。

7. 总结

  • 核心思想：通过退火历史引导，在扩散规划中实现稳定性与灵活性的动态平衡。
  • 速记版pipeline：
    1. 将长轨迹切分为历史与未来块。
    2. 训练时对历史块施加不同程度的噪声干扰。
    3. 推理时结合双分支CFG，动态退火历史信息。
    4. 对各块轨迹进行平滑拼接输出。

Key Findings:

  • To address this limitation, we propose Diffusion Forcing Planner (DFP), a diffusion-based planning framework driven by history-guided control.

Links:

AllDayNav: Lifelong Navigation via Real-World Reinforcement Learning

Authors: Hang Yin, Yinan Liang, Jiazhao Zhang, Jiahang Liu, Minghan Li, Zhizheng Zhang, He Wang

Published: 2026-06-09

Categories: cs.RO

Abstract:

Lifelong embodied navigation in dynamic environments requires robots to form persistent scene understanding from fragmentary observations, which remains difficult for existing methods that rely on explicit maps or scene graphs and struggle to generalize beyond structured settings. We propose AllDayNav, a lifelong self-learning navigation framework that implicitly encodes scene dynamics into the billion-scale parameters of a large model via reinforcement learning, powered by a self-evolving multimodal memory that maintains and updates visual keyframes, semantic descriptions, and temporal context while autonomously generating open-vocabulary instructions, image goals, and structured rewards. Experiments in both synthetic and real-world environments across cross-room, cross-episode, and cross-task scenarios show that AllDayNav achieves success rates approaching $100%$ and consistently surpasses strong map-based, VLM, and RL baselines in path efficiency and robustness, demonstrating implicit, memory-driven reinforcement learning as a scalable alternative to explicit mapping for reliable lifelong navigation.

Analysis:

以下是对《AllDayNav: Lifelong Navigation via Real-World Reinforcement Learning》一文的深度分析。

1. 摘要翻译

本文针对动态环境中具身导航长期缺乏一致性理解的问题，提出了一种名为 AllDayNav 的终身自学习导航框架。该框架通过强化学习，将场景动态隐式编码进大规模模型的参数中，并结合一个自演进的多模态记忆库，实时维护视觉关键帧、语义描述及时间上下文。AllDayNav 能自主生成开放词汇指令、图像目标和结构化奖励，在模拟和真实世界场景中实现了近 100% 的成功率，在路径效率和鲁棒性方面优于现有的基于地图、VLM 和 RL 的基线方法，证明了基于记忆驱动的强化学习是实现可靠终身导航的有效路径。

2. 方法动机分析

  • 驱动力：旨在克服机器人长期在动态、未见过的室内环境中运行时的“失忆”问题，使其能像人类一样构建、更新和利用“视觉心理意象”进行决策。
  • 现有方法痛点：当前基于 VLA（视觉-语言-动作）的方法多为无状态的，无法跨剧集（episode）积累经验；而基于显式地图或场景图的方法则计算成本高，难以适应快速变化的动态场景。
  • 研究假设：通过强化学习将环境动态隐式嵌入模型参数，并辅以一个自进化的检索式多模态记忆库，足以替代复杂的显式几何映射，实现稳健的长期导航。

3. 方法设计详解

AllDayNav 的核心是“记忆-策略协同演进”循环：

  1. 多模态记忆库构建：Agent 每隔 5 步捕获关键帧，通过对比嵌入向量的差异（式 12）自动筛选。新条目会被赋予语义描述（VLM 标注）、时间戳和特征向量。
  2. 自我教学（Self-Instruction）：系统定期（每 10 剧集）聚合记忆库中的描述，利用语言模型生成 50 个多样化、难度分层的导航指令（如“找回 5 分钟前去过的地方”）。
  3. 混合目标检索：对于每个指令，模型首先尝试在记忆库中检索。若置信度低于阈值（0.6），则触发回退机制，向互联网图像数据库请求目标，确保早期训练不枯竭。
  4. 保守 Q-学习（CQL）优化：为了在在线 RL 中保持稳定性，防止过拟合，采用 CQL 策略。引入行为克隆（BC）损失（式 34）作为正则化项，确保策略在探索过程中不偏离已学到的成功技能。
  5. VLA 骨干：利用 Qwen2-7B 作为预训练基础，结合 SigLIP 和 DINOv2 实现多模态感知。通过历史压缩机制（GAP）将长跨度视觉历史编码为 tokens。

4. 方法对比分析

  • 本质区别：它放弃了显式几何重构（如点云地图），转而采用“以图像为中心”的检索式长期记忆，记忆内容随环境互动不断演进。
  • 创新点：
    • 自演进记忆：不仅存储，还具备去重和基于任务重要性的更新机制。
    • 混合目标回退：有效解决了冷启动阶段记忆库数据稀疏的问题。
    • 时序感知：引入时间戳嵌入，使模型具备处理“去过的地方”等时序指令的能力。

5. 实验分析（精简版）

  • 验证方法：在 Habitat 模拟器和真实 Unitree Go2 四足机器人上，针对动态场景、超大场景和复杂模糊指令进行测试。
  • 关键结果：在所有五个测试场景中，成功率均达到或接近 100%，且随时间推移，SPL 指标稳步上升，证明了“经验积累”的有效性。
  • 主要优势：极强的环境适应性，无需人工标注即可实现持续改进。
  • 局限：对计算资源要求较高（需大型 VLM 和 RL 训练），且目前缺乏明确的安全限制机制。

6. 实用指南

  • 开源情况：请关注项目官网（Project Page）。
  • 实现细节：建议关注 pfallback 逻辑（式 23），这是解决 RL 早期探索问题的核心。另外，历史帧的衰减遮罩（Exponential Decay Mask）对保持长期记忆至关重要。
  • 迁移可能：可迁移至任何需要长期状态维护的具身智能任务（如移动操作或复杂搜索），只需调整 reward 函数中 visual similarity 的计算方式。

7. 总结

  • 核心思想：通过记忆驱动的闭环 RL，实现导航技能的持续自我进化。
  • 速记版 Pipeline：
    1. 探索与存储：记录视觉关键帧并自动生成语义描述。
    2. 自生成任务：从记忆库导出指令，构建多样化训练集。
    3. 策略更新：利用 CQL 在线优化，确保稳定性。
    4. 目标检索：根据用户指令匹配记忆目标或从互联网获取。

Key Findings:

  • We propose AllDayNav, a lifelong self-learning navigation framework that implicitly encodes scene dynamics into the billion-scale parameters of a large model via reinforcement learning, powered by a self-evolving multimodal memory that maintains and updates visual keyframes, semantic descriptions, and temporal context while autonomously generating open-vocabulary instructions, image goals, and structured rewards.

Links:

AgniNav: Configuration-Driven Cross-Embodiment Local Planning for Robot Navigation

Authors: Tianhao Zang, Siwei Cheng, Haidong Huang, Shanze Wang, Wei Zhang

Published: 2026-06-09

Categories: cs.RO

Abstract:

Monocular local navigation is attractive for lightweight robots, but existing vision-based policies often couple perception to a specific body, camera height, and footprint, making transfer from wheeled bases to legged platforms dependent on retraining or active depth hardware. This paper introduces AgniNav, a configuration-driven local navigation framework that standardizes cross-embodiment transfer at the collision-envelope level. Each robot is specified by a measurable four-parameter safety envelope: collision-relevant height, front length, rear length, and half width. The height parameter conditions an image-to-scan network to predict a one-dimensional, collision-relevant pseudo-laserscan from a monocular color image, while the remaining footprint parameters configure a dimension-aware local planner for collision checking. Training uses height-conditioned column-minimum scan labels generated from paired color-depth data, allowing the same image to supervise different safety envelopes without collecting robot-specific data. To the best of our knowledge, AgniNav is the first monocular local-navigation framework that jointly conditions perception and planning on a shared collision-envelope configuration for zero-retraining deployment across wheeled, quadruped, and humanoid platforms. Real-robot experiments on a Turtlebot2, Unitree Go2, and Accelerated Evolution K1 achieve 39/40, 18/20, and 18/20 successes with 0/40, 1/20, and 2/20 collisions, respectively, while running at 30 Hz on Jetson Orin.

Analysis:

作为计算机视觉和机器学习领域的专家，我对这篇关于 AgniNav 的论文分析如下：

1. 主要贡献总结

AgniNav 提出了一种基于“配置驱动”（Configuration-Driven）的通用单目局部导航框架，解决了不同机器人形态（轮式、四足、人形）在视觉导航迁移中必须针对特定几何参数重训练的痛点。该系统通过引入统一的四参数安全包络（Safety Envelope），实现了感知与规划在跨平台部署时的“零重训练”通用性，显著提升了轻量级机器人导航的泛化能力。

2. 核心创新点与方法论

该论文的方法论具有很强的解耦与参数化思想：

  • 统一的几何抽象：将复杂的机器人形态抽象为四个可测量的参数（碰撞高度、前长、后长、半宽），作为系统的全局约束输入。
  • 条件化感知（Conditioned Perception）：核心创新在于利用“高度条件化”的图像转扫描（Image-to-Scan）网络。通过将高度参数输入神经网络，模型能够动态生成对应特定高度的伪激光雷达扫描图（Pseudo-laserscan），从而屏蔽了相机安装高度带来的感知差异。
  • 维度感知规划（Dimension-Aware Planning）：将上述碰撞包络参数直接注入局部规划器，实现实时的碰撞检测。这种“感知-规划”联合条件化（Joint Conditioning）机制确保了导航策略对不同机器人几何结构的自适应。
  • 数据高效性：利用配对的彩色-深度数据自动生成“高度条件化”标签，无需针对每种机器人进行特定数据的采集。

3. 对该领域的潜在影响

  • 打破“感知-机器人”绑定范式：传统方法通常训练特定的权重用于特定的机器人结构，AgniNav 的架构设计标志着从“形态特化型模型”向“形态无关型（Embodiment-Agnostic）导航模型”的跨越。
  • 计算效率与部署门槛：在 Jetson Orin 边缘设备上实现 30 Hz 的实时推理，证明了这种参数化轻量级架构在工业与服务机器人领域的实用价值。
  • 推动统一导航基准：它提供了一种通用的表征方式，可能激发研究者关注如何将更多的机器人形态学属性（如动力学限制、转弯半径）纳入通用神经网络架构中。

4. 受益的相关领域与应用

  • 多机器人协作系统：在异构机器人群体（Heterogeneous Swarms）中，只需统一接口即可实现多机协同，降低维护成本。
  • 模块化机器人与原型开发：对于正在设计阶段或具有可变构型的机器人，无需针对每次结构改动重新训练视觉模型。
  • 具身智能（Embodied AI）：为大型具身模型提供了一种可行的、跨形态的导航动作接口方案。

5. 可推断的局限性

  • 环境复杂度的边界：伪激光雷达（Pseudo-laserscan）本质上是从 2D 图像中推断深度，对于透明材质、反射面或极度拥挤的复杂室内外场景，其可靠性仍可能逊色于真实 LiDAR。
  • 几何简化的假设：四参数包络假设机器人可以简化为矩形/凸多边形，对于外形极度复杂或具有长机械臂等非刚体特征的机器人，其碰撞检测可能过于粗糙，存在盲区。
  • 环境语义理解缺失：目前的系统聚焦于几何避障，对于高级语义任务（如“避开地毯”、“识别特定目标”）的泛化能力尚未通过摘要体现，仅限于底层的避障导航。

专家点评： 这篇论文的精妙之处在于它通过“参数注入”而非“数据堆叠”来解决泛化问题。它没有试图去学习一个能够处理所有形态的黑盒模型，而是通过数学建模将“物理形态”转化为“条件输入”，这种显式的几何先验与深层特征感知相结合的设计思路，是当前计算机视觉在机器人导航应用中非常值得推崇的方向。

Key Findings:

  • To the best of our knowledge, AgniNav is the first monocular local-navigation framework that jointly conditions perception and planning on a shared collision-envelope configuration for zero-retraining deployment across wheeled, quadruped, and humanoid platforms.
  • Real-robot experiments on a Turtlebot2, Unitree Go2, and Accelerated Evolution K1 achieve 39/40, 18/20, and 18/20 successes with 0/40, 1/20, and 2/20 collisions, respectively, while running at 30 Hz on Jetson Orin.

Links:

MV-Actor: Aligning Multi-View Semantics and Spatial Awareness for Bimanual Manipulation

Authors: Yinchen Tian, Huan Li, Muyao Peng, Xi Wang, Yan Wang, You Yang

Published: 2026-06-09

Categories: cs.RO

Abstract:

Robotic manipulation has been widely applied in industrial scenarios. Compared with single-arm manipulation, bimanual manipulation is equipped with multiple cameras to capture information from different viewpoints. However, existing multi-view policies encode each view independently or fuse view features shallowly, resulting in limited sharing semantic perception and unreliable spatial awareness. In this paper, we propose \textbf{MV-Actor}, a multi-view perception framework that builds a unified semantic-spatial representation for bimanual manipulation. First, MV-Actor performs Multi-view Semantic Interaction to share semantic perception across views. Then it uses Semantic-Spatial Token Interaction to ground visual semantics with feed-forward reconstruction model features and acquire reliable spatial awareness. Finally, a Guided Metric Depth Repair module refines degraded sensor depth to provide more reliable metric anchors under consumer-grade depth noise. In simulation experiments conducted on the PerAct2 bimanual benchmark, MV-Actor achieves a state-of-the-art average success rate of 87.8%. In real-world evaluations with more frequent viewpoint changes and unstable consumer-grade depth, MV-Actor outperforms both RGB and RGB-D baselines, further demonstrating the benefit of sharing semantic perception and reliable spatial awareness for bimanual manipulation.

Analysis:

作为计算机视觉与机器人学习领域的专家，我对 MV-Actor 这篇论文的分析如下：

1. 核心贡献总结

MV-Actor 针对双臂机器人操作中多视角数据利用率低的问题，提出了一种统一的语义-空间表征学习框架。该模型通过显式的语义交互与空间锚定机制，成功解决了多视角特征融合不充分及消费级深度传感器噪声干扰的问题，在双臂操控任务中实现了 SOTA 水平的成功率。

2. 关键创新与方法论

该论文的创新点在于打破了传统的“独立编码+简单融合”范式，引入了三层核心机制：

  • 多视角语义交互（Multi-view Semantic Interaction）： 不再将视角视为孤岛，而是通过机制强制让不同视角间的语义特征进行深度融合与共享。
  • 语义-空间 Token 交互（Semantic-Spatial Token Interaction）： 将视觉语义特征与预训练的重构模型（Reconstruction Model）特征进行对齐，利用 3D 结构先验来增强机器人的空间感知能力，解决了视觉语义与物理空间的“脱节”问题。
  • 引导式度量深度修复（Guided Metric Depth Repair）： 这是一个非常贴近工程实战的设计。针对消费级深度相机（如 RealSense 等）常见的噪声与缺失，通过语义引导对几何深度进行“修复”和约束，确保了复杂环境下操作的鲁棒性。

3. 对该领域的潜在影响

  • 范式转换： 该工作可能推动机器人感知从“单一视觉融合”向“多视角语义空间协同”转变，证明了通过结构先验增强空间感知对复杂操控任务至关重要。
  • 工程实用性： 其对消费级深度传感器的修复能力，降低了高精度机器人系统的硬件门槛，使得更廉价、易获得的传感器能够发挥出工业级传感器的性能。

4. 受益的相关领域与应用

  • 复杂装配与精细操作： 如家政机器人、复杂工业零件的精密组装，这些场景通常需要双臂协同且对空间感知要求极高。
  • 多传感器融合感知： 除了机器人领域，该方法中的深度修复与跨模态特征对齐技术，也可应用于自动驾驶中的多相机/雷达融合任务。
  • 具身智能（Embodied AI）： 对于需要大范围移动且摄像头视角频繁变换的移动操控（Mobile Manipulation）机器人，该框架提供了极佳的视觉鲁棒性参考。

5. 可推断的局限性

  • 计算开销： 由于涉及重构模型特征及复杂的 Token 交互，该模型的推理延迟（Latency）可能较高，是否能达到毫秒级的实时控制响应还有待进一步验证。
  • 泛化性边界： 摘要中强调了对消费级深度噪声的抗性，但若遇到强烈的环境光干扰或半透明、高反光等极端的物理材质，该深度修复模块的效果仍可能受限。
  • 训练需求： 需要大量多视角标注数据或高质量的仿真环境支持，在小样本学习（Few-shot learning）场景下的表现尚不明确。

专家点评： 这篇论文的有趣之处在于它敏锐地捕捉到了“双臂操作”在视觉感知上的核心痛点——多视角下的语义断层与几何漂移。通过引入显式的空间重构作为监督/约束，它不仅提升了成功率，更提供了一种将“重构几何先验”转化为“动作执行动力”的高效路径，这对构建通用的具身智能模型具有重要的借鉴价值。

Key Findings:

  • In this paper, we propose \textbf{MV-Actor}, a multi-view perception framework that builds a unified semantic-spatial representation for bimanual manipulation.
  • In simulation experiments conducted on the PerAct2 bimanual benchmark, MV-Actor achieves a state-of-the-art average success rate of 87.8%.
  • In real-world evaluations with more frequent viewpoint changes and unstable consumer-grade depth, MV-Actor outperforms both RGB and RGB-D baselines, further demonstrating the benefit of sharing semantic perception and reliable spatial awareness for bimanual manipulation.

Links: