本日论文反映了计算机视觉领域的三个核心趋势：

• 多模态与具身智能融合：多篇论文（如Tango、EgoTL、VL-Calibration）聚焦于视觉语言模型(VLMs)的效率提升、长时序任务推理与置信度校准，显示研究重点从基础模型构建转向优化与可靠应用。
• 物理与几何感知的AI：Physics-Informed RL、Online3R、PhysInOne等论文强调将物理规律、几何约束与深度学习结合，推动AI在动态场景（如自动驾驶、机器人）中的因果推理与空间理解。
• 高效与可扩展系统设计：AsymLoc、SynFlow、Tango等工作致力于通过非对称匹配、合成数据、信号压缩等技术，解决视觉定位、场景流估计、视频模型部署中的效率与数据瓶颈。

• Tango (Yin et al.)：提出高效视频大语言模型框架，通过“驯服”视觉信号降低计算成本，可能为实时视频理解提供新路径。
• VL-Calibration (Xiao et al.)：针对大视觉语言模型的置信度校准问题提出解耦方法，直接回应了VLM可靠性这一关键挑战，对安全敏感应用具较高价值。
• PhysInOne (Zhou et al.)：集成视觉物理学习与推理的统一套件，有望成为多任务物理推理的基准平台，推动结构化物理AI发展。

• 在线与一致性学习：Online3R基于几何基础模型实现在线连续重建，显示“终身几何学习”可能成为三维视觉新焦点。
• 非对称计算优化：AsymLoc通过非对称特征匹配提升定位效率，反映边缘设备与实时系统对异构架构设计的迫切需求。
• 合成数据规模化：SynFlow利用合成数据扩展LiDAR场景流估计，预示数据生成与域自适应在感知任务中的重要性持续上升。

根据研究优先级建议：

• 必读：VL-Calibration（可靠性研究）、PhysInOne（物理AI集成）——两者针对当前核心挑战提供系统性解决方案。
• 选读：Tango（视频效率）、Online3R（在线几何学习）——适合分别关注高效视频理解与动态三维重建的研究者。
• 领域特定：SynFlow（自动驾驶感知）、EgoTL（具身AI）——适合相应垂直领域的研究团队。

---

总结：本日论文体现了从“模型能力突破”向“可靠性、效率与物理整合”的范式转变。建议优先关注置信度校准、物理推理统一框架及在线几何学习等方向，这些工作可能为下一代鲁棒且可部署的视觉系统奠定基础。

---

1. Tango: Taming Visual Signals for Efficient Video Large Language Models
2. EgoTL: Egocentric Think-Aloud Chains for Long-Horizon Tasks
3. VL-Calibration: Decoupled Confidence Calibration for Large Vision-Language Models Reasoning
4. Envisioning the Future, One Step at a Time
5. Physics-Informed Reinforcement Learning of Spatial Density Velocity Potentials for Map-Free Racing
6. Online3R: Online Learning for Consistent Sequential Reconstruction Based on Geometry Foundation Model
7. Realizing Immersive Volumetric Video: A Multimodal Framework for 6-DoF VR Engagement
8. AsymLoc: Towards Asymmetric Feature Matching for Efficient Visual Localization
9. PhysInOne: Visual Physics Learning and Reasoning in One Suite
10. SynFlow: Scaling Up LiDAR Scene Flow Estimation with Synthetic Data

---

Authors: Shukang Yin, Sirui Zhao, Hanchao Wang, Baozhi Jia, Xianquan Wang, Chaoyou Fu, Enhong Chen

Published: 2026-04-10

Categories: cs.CV

Abstract:

Token pruning has emerged as a mainstream approach for developing efficient Video Large Language Models (Video LLMs). This work revisits and advances the two predominant token-pruning paradigms: attention-based selection and similarity-based clustering. Our study reveals two critical limitations in existing methods: (1) conventional top-k selection strategies fail to fully account for the attention distribution, which is often spatially multi-modal and long-tailed in magnitude; and (2) direct similarity-based clustering frequently generates fragmented clusters, resulting in distorted representations after pooling. To address these bottlenecks, we propose Tango, a novel framework designed to optimize the utilization of visual signals. Tango integrates a diversity-driven strategy to enhance attention-based token selection, and introduces Spatio-temporal Rotary Position Embedding (ST-RoPE) to preserve geometric structure via locality priors. Comprehensive experiments across various Video LLMs and video understanding benchmarks demonstrate the effectiveness and generalizability of our approach. Notably, when retaining only 10% of the video tokens, Tango preserves 98.9% of the original performance on LLaVA-OV while delivering a 1.88x inference speedup.

Analysis:

这是一篇关于视频大语言模型（Video LLM）高效化推理的论文，提出了一种名为 Tango 的训练免费（training-free）token剪枝框架。以下是针对该论文的深度分析：

Token剪枝已成为开发高效视频大语言模型（Video LLMs）的主流方法。本研究重新审视并改进了两种主要的token剪枝范式：基于注意力的选择和基于相似度的聚类。研究揭示了现有方法存在的两个关键瓶颈：（1）传统的Top-k选择策略无法完全捕捉注意力分布（通常呈现空间多模态和长尾特性）；（2）直接的相似度聚类往往导致碎片化的聚类结果，造成池化后的表征失真。针对这些问题，我们提出了Tango，一个优化视觉信号利用的新框架。Tango引入了多样性驱动策略来增强注意力选token的过程，并提出了时空旋转位置编码（ST-RoPE），通过局部先验来保持几何结构。实验证明，在仅保留10%视频token的情况下，Tango在LLaVA-OV模型上能保持98.9%的原始性能，并带来1.88倍的推理加速。

• 驱动力：旨在解决现有视频token剪枝在保持语义信息与几何结构平衡时的缺陷。
• 痛点：
  • 选择偏差：注意力权重分布是长尾且多峰的，单纯的Top-k会丢失长尾区的关键语义细节。
  • 结构破碎：缺乏空间先验的聚类会切断物体连续性，导致池化后特征“模糊”。
• 研究假设：通过在选择阶段引入多样性约束，并在聚类阶段注入时空位置先验（ST-RoPE），可以显著提升保留token的语义质量与几何保真度。

• 核心模块：
  1. 时序视频分割 (TVS)：基于相邻帧相似度动态规划分割视频，最大化静态token数量，减少冗余。
  2. 多样性驱动的选择 (STS)：
     • 不直接选Top-k，而是先扩展候选集（$\bar{k} = \alpha \cdot k$）。
     • 利用DPC-KNN（基于密度的聚类）对候选者进行聚类。
     • 在每个聚类内部取注意力分数最高的token，保证了语义覆盖的多样性。
  3. 时空合并 (STM) 与 ST-RoPE：
     • 提出ST-RoPE，通过旋转矩阵将时空距离编码进相似度计算中。
     • 算法意义：在计算Token $i$ 和 $j$ 的距离时，ST-RoPE强制时空远距离的token产生更低的相似度，从而迫使相似度聚类仅在时空临近区域发生，有效保护了物体的空间几何结构。

• 本质区别：从传统的“单纯基于重要性排序”转变为“重要性与时空一致性双重约束”。
• 创新点：将旋转位置编码（RoPE）巧妙地适配到聚类任务（ST-RoPE），通过长程衰减特性解决了空间碎片化问题。
• 适用场景：适用于任何基于Vision Transformer的视频大模型推理加速，特别是对长视频、复杂场景有要求的任务。

• 结论：在多个主流基准测试（如Video-MME, MVBench）上，Tango在极高压缩率（10%）下性能损耗极小（<1.1%），并显著优于HoliTom等SOTA方法。
• 优势：训练免费，插拔式使用，推理加速比优异，在大模型上表现出了极强的普适性。
• 局限：对于高度抽象或极端细碎的语义场景，压缩仍有损；且对Attention Sink的缓解依赖启发式Masking。

• 开源地址：github.com/xjtupanda/Tango。
• 实现建议：
  • 扩展系数 ($\alpha$)：推荐设置为1.5。
  • ST-RoPE频率：根据视频分辨率和帧率微调 base frequency。
  • 部署：由于是Training-free，直接在模型推理的Vision Encoder之后加入Tango模块即可。
• 迁移迁移：方法可直接迁移至多模态任务的图像剪枝中，只需将时序分割维度简化为空间分割即可。

• 核心思想：通过时空位置编码引导聚类，实现高效且结构完好的token压缩。
• 速记版pipeline：
  1. 分割：按相似度将视频划分为静态片段。
  2. 选择：对注意力扩展候选集进行密度聚类，提取多样性中心。
  3. 融合：注入时空旋转编码，对时空邻近的相似token进行加权池化。

Key Findings:

• To address these bottlenecks, we propose Tango, a novel framework designed to optimize the utilization of visual signals.
• Comprehensive experiments across various Video LLMs and video understanding benchmarks demonstrate the effectiveness and generalizability of our approach.

Links:

• PDF
• arXiv

---

Authors: Lulin Liu, Dayou Li, Yiqing Liang, Sicong Jiang, Hitesh Vijay, Hezhen Hu, Xuhai Xu, Zirui Liu, Srinivas Shakkottai, Manling Li, Zhiwen Fan

Published: 2026-04-10

Categories: cs.CV

Abstract:

Large foundation models have made significant advances in embodied intelligence, enabling synthesis and reasoning over egocentric input for household tasks. However, VLM-based auto-labeling is often noisy because the primary data sources lack accurate human action labels, chain-of-thought (CoT), and spatial annotations; these errors are amplified during long-horizon spatial instruction following. These issues stem from insufficient coverage of minute-long, daily household planning tasks and from inaccurate spatial grounding. As a result, VLM reasoning chains and world-model synthesis can hallucinate objects, skip steps, or fail to respect real-world physical attributes. To address these gaps, we introduce EgoTL. EgoTL builds a think-aloud capture pipeline for egocentric data. It uses a say-before-act protocol to record step-by-step goals and spoken reasoning with word-level timestamps, then calibrates physical properties with metric-scale spatial estimators, a memory-bank walkthrough for scene context, and clip-level tags for navigation instructions and detailed manipulation actions. With EgoTL, we are able to benchmark VLMs and World Models on six task dimensions from three layers and long-horizon generation over minute-long sequences across over 100 daily household tasks. We find that foundation models still fall short as egocentric assistants or open-world simulators. Finally, we finetune foundation models with human CoT aligned with metric labels on the training split of EgoTL, which improves long-horizon planning and reasoning, step-wise reasoning, instruction following, and spatial grounding.

Analysis:

这是一份针对论文《EgoTL: Egocentric Think-Aloud Chains for Long-Horizon Tasks》的深入分析：

大型基础模型在具身智能领域取得了显著进展，能够合成并推理用于家庭任务的自我中心（egocentric）输入。然而，基于VLM的自动标注往往存在噪声，因为主要数据源缺乏准确的人类动作标签、思维链（CoT）和空间标注；这些错误在长时程空间指令遵循任务中被放大。这些问题源于对日常长时程规划任务的覆盖不足以及空间定位不准。为了解决这些差距，我们引入了EgoTL，这是一个针对自我中心数据的“边说边做（say-before-act）”思维链捕获流水线。它利用该协议记录分步目标和带有词级时间戳的口语化推理，然后通过度量级空间估计器、用于场景上下文的记忆库遍历和用于导航指令及详细操作动作的片段级标签来校准物理属性。借助EgoTL，我们能够在六项任务上对VLM和世界模型进行基准测试。

• 驱动力：解决现有长时程具身任务中，模型因缺乏人类先验意图和不准确的空间定位而导致的规划失效、幻觉和 temporal drift（时间漂移）问题。
• 现有痛点：现有数据集（如Ego4D）多采用“事后标注（post-hoc）”，导致标注与真实时间轴脱节，且无法捕获动作执行前的核心意图（Theory-of-Mind gap）。
• 研究假设：通过在行动前实时捕获人类的“思考过程”，并将此思维链与物理度量标签对齐，可以显著提升模型对长时程任务的规划、推理及空间遵循能力。

• 流程总结：
  1. Say-Before-Act 采集：参与者在执行动作前，必须先口头陈述意图（例如“因为椅子挡路，我先移开椅子”），建立意图与动作的强绑定。
  2. 多模态同步：利用WhisperX将语音与视频流在词级对齐，产生带有时间戳的思维链（CoT）。
  3. 物理校准：通过记忆库（Memory Bank）记录场景的全局布局，并使用度量级空间估计器获取相机中心坐标，计算真实的行走距离（使用公式 $L = \sum |p_i - p_{i-1}|$）。
  4. 片段化标注：根据超过2秒的静音片段进行自动分割，将长视频切分为导航或操作片段，并赋予相应的运动语义标签。
• 模型结构与核心公式：核心在于将意图语言流（$A$）、空间轨迹流（$p_i$）与环境语义（$M$）三者融合。公式(3)通过对采样点的差分累加，实现了具身轨迹的物理度量量化，为空间推理提供了“尺子”。

• 本质区别：从“事后回顾（What did I do?）”转变为“实时意图（Why am I doing this?）”，这是提升具身智能Theory-of-Mind的关键视角转变。
• 创新贡献：引入了Say-Before-Act协议，不仅解决了标注的实时性问题，还通过引入干扰物（unexpected obstructions）迫使模型学习长时程的“纠错与路径重规划”。
• 适用场景：适用于家庭服务机器人、长时程动作规划、具身导航与复杂环境下的交互分析。

• 关键结论：在EgoTL-Bench上，经过Fine-tuning的轻量化模型表现优于未微调的超大型VLM，尤其在距离估计和长时程规划指标上具有显著优势。
• 优势：极大地提升了模型的空间一致性（Spatial Consistency）和步骤规划的准确性。
• 局限：模型在处理极度复杂的遮挡环境时仍存在对物体物理属性理解不够透彻的问题，人类与AI性能仍有差距。

• 开源与实现：项目已开源（ego-tl.github.io）。复现时需重点配置WhisperX以确保语音对齐精度。
• 训练细节：作者采用了LoRA（rank 16）微调Qwen2.5-VL，这表明在冻结视觉主干、仅微调Adapter的情况下，利用高质量任务意图数据即可显著提升VLM的具身推理能力。
• 迁移建议：该思维链采集流水线可以直接迁移到任何需要人类专家经验的任务（如手术机器人、工业组装），只需修改任务特异性的动作原语。

• 核心思想：通过“边说边做”实时捕获意图，建立意图、物理空间与动作的高度对齐。
• 速记版pipeline：
  1. 执行前口头陈述意图。
  2. 语音转文字并对齐视频时间戳。
  3. 结合物理测量进行场景标注。
  4. 训练模型预测后续动作并校准空间距离。

Key Findings:

• To address these gaps, we introduce EgoTL.

Links:

• PDF
• arXiv

---

Authors: Wenyi Xiao, Xinchi Xu, Leilei Gan

Published: 2026-04-10

Categories: cs.CV, cs.AI, cs.CL

Abstract:

Large Vision Language Models (LVLMs) achieve strong multimodal reasoning but frequently exhibit hallucinations and incorrect responses with high certainty, which hinders their usage in high-stakes domains. Existing verbalized confidence calibration methods, largely developed for text-only LLMs, typically optimize a single holistic confidence score using binary answer-level correctness. This design is mismatched to LVLMs: an incorrect prediction may arise from perceptual failures or from reasoning errors given correct perception, and a single confidence conflates these sources while visual uncertainty is often dominated by language priors. To address these issues, we propose VL-Calibration, a reinforcement learning framework that explicitly decouples confidence into visual and reasoning confidence. To supervise visual confidence without ground-truth perception labels, we introduce an intrinsic visual certainty estimation that combines (i) visual grounding measured by KL-divergence under image perturbations and (ii) internal certainty measured by token entropy. We further propose token-level advantage reweighting to focus optimization on tokens based on visual certainty, suppressing ungrounded hallucinations while preserving valid perception. Experiments on thirteen benchmarks show that VL-Calibration effectively improves calibration while boosting visual reasoning accuracy, and it generalizes to out-of-distribution benchmarks across model scales and architectures.

Analysis:

这是一份关于《VL-Calibration: Decoupled Confidence Calibration for Large Vision-Language Models Reasoning》的深度技术分析。

大型视觉语言模型（LVLMs）在多模态推理方面表现出色，但常表现出高置信度的幻觉或错误回答，限制了其在高风险领域的应用。现有的置信度校准方法多针对纯文本大模型，仅优化单一的整体置信度，这与LVLM的特性不匹配：LVLM的错误可能源于感知失败或推理逻辑错误，单一分数混淆了这两类来源，且视觉不确定性常被语言先验所掩盖。为此，我们提出了VL-Calibration，这是一个强化学习框架，旨在明确将置信度解耦为视觉置信度和推理置信度。在缺乏感知真值的情况下，我们引入了内在视觉确定性估计，结合了（i）在图像扰动下的视觉接地KL散度，以及（ii）令牌熵衡量的内部确定性。我们进一步提出了令牌级优势重加权，以根据视觉确定性聚焦优化，在抑制无根据幻觉的同时保持有效的视觉感知。在十三个基准测试上的实验表明，VL-Calibration有效地提升了校准精度，提升了视觉推理准确性，并具有跨模型规模和架构的泛化能力。

• 驱动力：解决LVLM因感知与推理错误“混杂”导致的校准失效问题。
• 现有痛点：传统方法采用单一 holistic 分数，无法定位错误的根本源头；且视觉不确定性常被强大的语言模型先验“掩盖”，导致模型在看错图时仍表现出过高的自信。
• 核心假设：将置信度解耦为“视觉（感知）”与“推理（逻辑）”两部分，并显式利用视觉稳定性作为监督信号，可以更精准地校准模型。

• 流程 Pipeline：
  1. 结构化推理：强制模型输出 <vision>（感知理由）和 <reasoning>（逻辑推导）段落。
  2. 解耦置信度：在每一部分后输出对应的置信度分数 $c_{vis}$ 和 $c_{reas}$。
  3. 协同预测：最终置信度 $\Phi$ 采用谐波平均值（$2 \cdot c_{vis} \cdot c_{reas} / (c_{vis} + c_{reas})$），确保模型只有在两方面都确定时才表现出高自信。
  4. 内在视觉确定性估计：通过比较原图与随机扰动（遮挡 80%）下的分布差异（KL散度）评估视觉接地性，结合令牌熵评估内部确定性，两者整合为视觉确定性分数 $S_{vis}$。
  5. 奖励机制与强化学习：在 RL 训练中引入 $R_{vis}$ 惩罚，将 $c_{vis}$ 锚定在 $S_{vis}$ 上，并通过 Token-level Advantage Reweighting（TAR）对高视觉不确定性且错误的令牌施加更强的惩罚。

• 本质区别：从“黑盒置信度校准”转变为“解耦感知与逻辑的透明校准”。
• 创新贡献：设计了无需人工标注的视觉确定性伪标签生成流程（KL散度+熵），并实现了细粒度的令牌级重加权，这在之前的 RLCR 或采样方法中是未探索的。
• 适用场景：适用于所有对幻觉敏感、需要高置信度校准的多模态推理任务。

• 核心结论：在 Qwen3-VL-4B/8B 模型上，ECE（期望校准误差）显著下降，同时平均准确率提升了 2.3%-3.0%。
• 优势：显著减少了“视觉过自信”现象，在无法回答的问题上表现出更好的拒答能力。
• 局限：计算开销增加了约 11%（因为需要进行扰动后的第二次前向传播计算 KL 散度）。

• 开源情况：已开源，代码参考 github.com/Mr-Loevan/VL-Calibration。
• 迁移注意：关键超参数 $\lambda_{acc}, \lambda_{cal}, \lambda_{vis}$ 需要针对不同模型进行微调；扰动比例（80%）是保证性能的关键。
• 迁移可能：该框架核心思想可无缝迁移至任何包含 Chain-of-Thought 的多模态模型。

• 核心思想：显式解耦感知与逻辑，利用视觉稳定性监督置信度。
• 速记版 Pipeline：
  1. 生成结构化感知与推理 rationale。
  2. 谐波平均化两个阶段的置信度。
  3. 通过对比扰动下的输出生成视觉信任分。
  4. 强化学习中针对视觉不确定令牌实施动态惩罚。

Key Findings:

• To address these issues, we propose VL-Calibration, a reinforcement learning framework that explicitly decouples confidence into visual and reasoning confidence.
• To supervise visual confidence without ground-truth perception labels, we introduce an intrinsic visual certainty estimation that combines (i) visual grounding measured by KL-divergence under image perturbations and (ii) internal certainty measured by token entropy.

Links:

• PDF
• arXiv

---

Authors: Stefan Andreas Baumann, Jannik Wiese, Tommaso Martorella, Mahdi M. Kalayeh, Björn Ommer

Published: 2026-04-10

Categories: cs.CV, cs.AI, cs.LG

Abstract:

Accurately anticipating how complex, diverse scenes will evolve requires models that represent uncertainty, simulate along extended interaction chains, and efficiently explore many plausible futures. Yet most existing approaches rely on dense video or latent-space prediction, expending substantial capacity on dense appearance rather than on the underlying sparse trajectories of points in the scene. This makes large-scale exploration of future hypotheses costly and limits performance when long-horizon, multi-modal motion is essential. We address this by formulating the prediction of open-set future scene dynamics as step-wise inference over sparse point trajectories. Our autoregressive diffusion model advances these trajectories through short, locally predictable transitions, explicitly modeling the growth of uncertainty over time. This dynamics-centric representation enables fast rollout of thousands of diverse futures from a single image, optionally guided by initial constraints on motion, while maintaining physical plausibility and long-range coherence. We further introduce OWM, a benchmark for open-set motion prediction based on diverse in-the-wild videos, to evaluate accuracy and variability of predicted trajectory distributions under real-world uncertainty. Our method matches or surpasses dense simulators in predictive accuracy while achieving orders-of-magnitude higher sampling speed, making open-set future prediction both scalable and practical. Project page: http://compvis.github.io/myriad.

Analysis:

这是一篇关于稀疏轨迹预测的视觉动力学论文，其核心贡献在于跳出了“生成视频”的冗余范式，转而直接在稀疏点空间进行基于扩散的动力学模拟。

---

准确预见复杂、多样化场景的演变需要模型能够表示不确定性、模拟长期的交互链，并高效探索多种可能的未来。然而，现有方法大多依赖于密集的视频预测或隐空间预测，在非必要的密集外观上消耗了大量计算资源，而非关注场景中点（points）的底层稀疏轨迹。这使得大规模探索未来假设变得昂贵，且在需要长视界、多模态运动的场景中表现受限。我们通过将开放集未来场景动力学的预测构建为基于稀疏点轨迹的逐步推理来解决这一问题。我们的自回归扩散模型通过短且局部可预测的转换推进这些轨迹，明确模拟了随时间增长的不确定性。这种以动力学为中心的表示能够从单张图像快速展开数千种多样的未来。我们还引入了OWM基准，用于在真实世界的开放集条件下评估预测轨迹分布的准确性和变异性。

---

• 驱动力：人类大脑通过“抽象”感知世界，只关注关键变化（如物体如何移动），而非重绘整个视频帧。作者试图在机器智能中复刻这种动力学主导的稀疏感知。
• 现有方法痛点：当前主流生成模型（如视频扩散模型）必须生成每一个像素（Visual Tax），在外观细节上浪费了过大计算容量，导致难以实现长视界、长寿命、可分支的多样化未来预测。
• 研究假设：动力学本质上是稀疏的；通过在稀疏点集上进行逐步（Step-wise）的推理，可以规避渲染像素的开销，从而高效模拟世界的随机性。

---

• 核心 Pipeline：
  1. 输入表示：给定单张图像 $I_0$ 和稀疏点集 $x_0$。
  2. 运动Token化：每个Token融合了三个关键信息：外观（What，通过Bilinear采样）、上下文（Where，当前位置特征）、身份（Who，随机化轨迹ID），并结合Fourier嵌入表示运动增量 $\Delta x_t$。
  3. 自回归扩散推理：采用Transformer主干网络，通过因果因式分解，逐步预测每一步的 $\Delta x_t$。
  4. 后验参数化（FM Head）：使用流匹配（Flow Matching）架构，而非传统GMM，通过“Scale Cascade”技巧（对数间隔的尺度缩放）解决动力学中的长尾分布问题。
• 模型架构关键点：
  • Fused Layers：并行Transformer模块，将自注意力和交叉注意力融合，并结合KV缓存，显著降低采样时的kernel调用开销。
  • Scale Cascade：在FM Head输入端使用tanh饱和多尺度输入，平衡微小位移与大幅运动。

---

• 本质区别：放弃“生成图像即生成运动”的范式，转为“显式建模轨迹的概率分布”。
• 创新贡献：
  • Low Visual Tax：无需渲染像素，计算开销降低多个数量级。
  • Step-wise Reasoning：通过逐步累积增量，实现长视界交互，比单步预测（One-shot）更准确。
  • 可扩展性：随机轨迹ID（Random ID embedding）允许模型处理任意数量的K点，实现zero-shot迁移。

---

• 验证方法：在自建的OWM（开放世界运动）基准及PhysicsIQ/Physion物理模拟集上进行评估。
• 关键结论：在Best-of-5实验中，预测准确性达到或超过当前SOTA视频模型；在限制计算资源（Best-within-5min）的评估中，由于高吞吐量（每分钟数千采样），性能优势大幅扩大。
• 优势：极高的采样效率（>10倍提速）、对复杂交互的高保真预测。
• 局限：假设摄像机为静态（对自运动相机依赖依然较强），模型仍高度依赖离线轨迹提取器（如TAPNext）产生的伪标签训练。

---

• 开源情况：项目主页 http://compvis.github.io/myriad。
• 实现细节：
  • 训练初期必须使用强力的点追踪器（如TAPNext）作为监督。
  • Scale Cascade的实现是处理长尾运动的关键，务必按照公式设定 log(0.1) 到 log(1e5) 的512个刻度。
• 迁移建议：适合任何需要机器人规划或复杂场景预测的任务（如台球模拟）。可直接通过调整输入点集 $K$ 来适应不同数量的监控点。

---

• 核心思想：放弃像素生成，直接在稀疏点空间逐步模拟动力学以实现高效预测。
• 速记版Pipeline：
  1. 从静态图提取点集及环境特征。
  2. 将点运动转化为Token并融合轨迹ID。
  3. 通过Transformer自回归预测位置增量。
  4. 利用流匹配模型进行多模态概率分布采样。

Key Findings:

• Our method matches or surpasses dense simulators in predictive accuracy while achieving orders-of-magnitude higher sampling speed, making open-set future prediction both scalable and practical.

Links:

• PDF
• arXiv

---

Authors: Shathushan Sivashangaran, Apoorva Khairnar, Sepideh Gohari, Vihaan Dutta, Azim Eskandarian

Published: 2026-04-10

Categories: cs.RO

Abstract:

Autonomous racing without prebuilt maps is a grand challenge for embedded robotics that requires kinodynamic planning from instantaneous sensor data at the acceleration and tire friction limits. Out-Of-Distribution (OOD) generalization to various racetrack configurations utilizes Machine Learning (ML) to encode the mathematical relation between sensor data and vehicle actuation for end-to-end control, with implicit localization. These comprise Behavioral Cloning (BC) that is capped to human reaction times and Deep Reinforcement Learning (DRL) which requires large-scale collisions for comprehensive training that can be infeasible without simulation but is arduous to transfer to reality, thus exhibiting greater performance than BC in simulation, but actuation instability on hardware. This paper presents a DRL method that parameterizes nonlinear vehicle dynamics from the spectral distribution of depth measurements with a non-geometric, physics-informed reward, to infer vehicle time-optimal and overtaking racing controls with an Artificial Neural Network (ANN) that utilizes less than 1% of the computation of BC and model-based DRL. Slaloming from simulation to reality transfer and variance-induced conservatism are eliminated with the combination of a physics engine exploit-aware reward and the replacement of an explicit collision penalty with an implicit truncation of the value horizon. The policy outperforms human demonstrations by 12% in OOD tracks on proportionally scaled hardware, by maximizing the friction circle with tire dynamics that resemble an empirical Pacejka tire model. System identification illuminates a functional bifurcation where the first layer compresses spatial observations to extract digitized track features with higher resolution in corner apexes, and the second encodes nonlinear dynamics.

Analysis:

作为计算机视觉与机器学习领域的专家，我对这篇论文的分析如下：

该论文提出了一种物理驱动的深度强化学习（Physics-Informed DRL）框架，用于解决无人驾驶竞速中的“无地图（Map-Free）”规划难题。通过将深度测量数据的频谱分布与车辆动力学模型（Pacejka轮胎模型）相融合，该方法在显著降低计算成本（仅为传统BC或DRL的1%）的同时，实现了超越人类驾驶表现的性能，并成功解决了从模拟器到真实环境的“Sim-to-Real”迁移难题。

• 物理信息注入的奖励函数设计： 摒弃了传统的“碰撞惩罚”机制，改为通过隐式的价值区间截断（Implicit truncation of value horizon）来处理安全边界，同时引入了针对摩擦圆（Friction Circle）优化的物理奖励，使智能体能主动学习极限操控。
• 空间密度速度势（Spatial Density Velocity Potentials）： 将深度传感器数据通过频谱分析转化为一种紧凑的特征表示，实现了对赛道几何特征（尤其是弯道顶点）的自适应捕捉。
• 特征解耦的神经网络架构： 系统辨识分析显示，其网络结构实现了高效的“分层压缩”：第一层负责将空间观测压缩并提取高分辨率的赛道特征，第二层专门负责编码复杂的非线性动力学。这种解耦设计是其高效计算的关键。

对于计算机视觉研究者而言，这篇论文的趣味性在于它改变了视觉处理范式：

• 非几何视角的特征提取： 该研究表明，在竞速等高速场景下，无需显式的几何重建或SLAM，仅凭传感器数据的频谱特征即可实现精准的定位与控制。这挑战了传统视觉SLAM在嵌入式机器人领域的必要性。
• 感知与动力学的端到端融合： 它展示了如何利用神经网络在嵌入式约束下，实现“感知-动作”闭环的极致压缩。其表现出的“在弯道顶点提供更高分辨率特征”的特性，揭示了深度学习模型在应对物理任务时，会自动涌现出类似视觉注意力机制的特征提取倾向。

• 边缘计算与嵌入式AI： 极高的计算效率（1%的算力需求）使其非常适合部署在算力极度受限的微型无人车或无人机上。
• 自动驾驶与复杂场景规划： 其处理Out-Of-Distribution（OOD）环境的能力，可直接应用于非结构化道路下的高速避障。
• 体育机器人： 任何需要高速、极限物理交互的机器人运动控制（如足球机器人、格斗机器人）。

• 依赖特定的传感器模态： 论文强调了深度测量数据，如果面对光照剧烈变化、雨雾或无纹理环境（导致深度传感器失效），该方法的鲁棒性需进一步验证。
• 对动力学模型的依赖： 尽管采用了强化学习，但其奖励函数仍高度依赖于Pacejka轮胎模型等先验物理知识，这可能限制了其在极特殊路面（如冰面、碎石）或非车辆平台（如足式机器人）上的普适性。
• 硬件比例缩放问题： 论文提到是在“比例缩放的硬件（proportionally scaled hardware）”上验证，真实全尺寸赛车在更高速度下的空气动力学扰动和传感器滞后效应可能比缩比模型复杂得多。

总结建议： 这篇论文是“感知-控制协同设计”的典范，对于那些希望利用机器学习降低系统计算复杂度，同时追求物理鲁棒性的研究者来说，具有很高的参考价值。

Key Findings:

• The policy outperforms human demonstrations by 12% in OOD tracks on proportionally scaled hardware, by maximizing the friction circle with tire dynamics that resemble an empirical Pacejka tire model.

Links:

• PDF
• arXiv

---

Authors: Shunkai Zhou, Zike Yan, Fei Xue, Dong Wu, Yuchen Deng, Hongbin Zha

Published: 2026-04-10

Categories: cs.CV

Abstract:

We present Online3R, a new sequential reconstruction framework that is capable of adapting to new scenes through online learning, effectively resolving inconsistency issues. Specifically, we introduce a set of learnable lightweight visual prompts into a pretrained, frozen geometry foundation model to capture the knowledge of new environments while preserving the fundamental capability of the foundation model for geometry prediction. To solve the problems of missing groundtruth and the requirement of high efficiency when updating these visual prompts at test time, we introduce a local-global self-supervised learning strategy by enforcing the local and global consistency constraints on predictions. The local consistency constraints are conducted on intermediate and previously local fused results, enabling the model to be trained with high-quality pseudo groundtruth signals; the global consistency constraints are operated on sparse keyframes spanning long distances rather than per frame, allowing the model to learn from a consistent prediction over a long trajectory in an efficient way. Our experiments demonstrate that Online3R outperforms previous state-of-the-art methods on various benchmarks. Project page: https://shunkaizhou.github.io/online3r-1.0/

Analysis:

这是一份关于 Online3R 的深度技术分析报告。

我们提出了 Online3R，一个通过在线学习适应新场景的新型序列化重建框架，旨在有效解决一致性问题。具体而言，我们将一组可学习的轻量级视觉提示（visual prompts）引入预训练且冻结参数的几何基础模型中，以捕捉新环境的知识，同时保留模型的基础几何预测能力。为解决测试时缺乏真实标签（groundtruth）及对高效率的苛刻要求，我们引入了一种局部-全局自监督学习策略：局部一致性约束作用于中间融合结果，提供高质量伪真值；全局一致性约束作用于长距离的关键帧，实现高效的全局一致性学习。实验证明，Online3R 在多个基准测试中均优于现有先进方法。

• 驱动力：现有的几何基础模型（如 MASt3R）虽然泛化能力强，但在未见过的复杂场景中因参数冻结而无法自适应，导致序列重建中出现长距离漂移和几何不一致。
• 现有痛点：全参数微调计算代价过高，难以满足实时序列重建的效率需求；缺乏测试时的地面真值导致在线学习缺乏监督信号。
• 研究假设：通过在冻结的骨干网络中引入轻量级、可在线优化的视觉提示，结合基于历史融合结果构建的自监督损失，能够在不破坏预训练知识的前提下，快速适应新场景。

• 流程总结：
  1. 输入与初始化：输入视频流，首帧设为关键帧，提示符（Prompt）初始化为0。
  2. 提示调制（Prompt Tuning）：在编码器的每一层加入视觉提示 tokens，与图像 tokens 连接后进行自注意力交互。
  3. 局部融合：利用 MASt3R-SLAM 的局部融合机制，通过置信度加权平均不断更新关键帧的几何点云，获得“伪真值”。
  4. 损失计算与反向传播：
     • 局部约束：将当前网络单次预测结果与融合后的高精度点云计算 $L_1$ 距离。
     • 全局约束：从历史关键帧中随机采样两个帧，强制网络对同一场景点的预测保持几何一致。
  5. 更新：仅更新提示符参数，保持骨干网络冻结。
• 关键公式意义：公式(3)通过动态融合建立伪标签，解决了“无真值学习”难题；公式(4)与(5)共同构成约束，前者保证局部细节准确，后者保证长轨迹的几何结构稳健。

• 本质区别：区别于传统方法（全参数微调）或纯推理方法（不可学习），Online3R 采用了“参数高效微调（PEFT）+自监督学习”的新范式，实现场景的实时“记忆”。
• 创新贡献：提出了一种结合局部（融合结果）与全局（长距历史）的自监督学习框架，显著降低了在线优化的算力开销。
• 适用场景：单目序列化场景重建，特别是需要实时适配未知室内场景的场景。

• 验证方法：在 TUM RGB-D 和 NRGBD 数据集上进行评估，重点测试绝对轨迹误差（ATE）和稠密几何重建指标（Accuracy/Completion/Chamfer）。
• 关键结果：在不使用深度真值的情况下，Online3R 实现了比 MASt3R-SLAM 和 Spann3R 等领先方法更低的 ATE 和更高的几何一致性。
• 主要局限：目前仅适用于静态场景，引入了额外的在线优化计算开销（尽管已通过提示 tuning 优化，但仍有 10 FPS 的限制）。

• 开源情况：项目主页已提供地址。
• 实现细节：关键超参数 $\lambda=0.5$，提示符长度 $N_p=32$，维度 $D=1024$。优化器建议使用 AdamW，学习率 $10^{-4}$。
• 迁移可能：该框架的“提示符 tuning + 自监督一致性约束”思路可直接迁移到视频去噪、SLAM 轨迹修正等任务。

• 核心思想：利用轻量级视觉提示符，通过多尺度自监督约束实现模型在线快速适应。
• 速记版 Pipeline：
  1. 冻结基础模型参数。
  2. 插入并学习少量视觉提示。
  3. 利用融合后的历史结果构建伪标签。
  4. 联合局部与全局约束更新提示。
  5. 得到适应特定场景的预测结果。

Key Findings:

• We present Online3R, a new sequential reconstruction framework that is capable of adapting to new scenes through online learning, effectively resolving inconsistency issues.
• Specifically, we introduce a set of learnable lightweight visual prompts into a pretrained, frozen geometry foundation model to capture the knowledge of new environments while preserving the fundamental capability of the foundation model for geometry prediction.
• To solve the problems of missing groundtruth and the requirement of high efficiency when updating these visual prompts at test time, we introduce a local-global self-supervised learning strategy by enforcing the local and global consistency constraints on predictions.
• Our experiments demonstrate that Online3R outperforms previous state-of-the-art methods on various benchmarks.

Links:

• PDF
• arXiv

---

Authors: Zhengxian Yang, Shengqi Wang, Shi Pan, Hongshuai Li, Haoxiang Wang, Lin Li, Guanjun Li, Zhengqi Wen, Borong Lin, Jianhua Tao, Tao Yu

Published: 2026-04-10

Categories: cs.CV

Abstract:

Fully immersive experiences that tightly integrate 6-DoF visual and auditory interaction are essential for virtual and augmented reality. While such experiences can be achieved through computer-generated content, constructing them directly from real-world captured videos remains largely unexplored. We introduce Immersive Volumetric Videos, a new volumetric media format designed to provide large 6-DoF interaction spaces, audiovisual feedback, and high-resolution, high-frame-rate dynamic content. To support IVV construction, we present ImViD, a multi-view, multi-modal dataset built upon a space-oriented capture philosophy. Our custom capture rig enables synchronized multi-view video-audio acquisition during motion, facilitating efficient capture of complex indoor and outdoor scenes with rich foreground--background interactions and challenging dynamics. The dataset provides 5K-resolution videos at 60 FPS with durations of 1-5 minutes, offering richer spatial, temporal, and multimodal coverage than existing benchmarks. Leveraging this dataset, we develop a dynamic light field reconstruction framework built upon a Gaussian-based spatio-temporal representation, incorporating flow-guided sparse initialization, joint camera temporal calibration, and multi-term spatio-temporal supervision for robust and accurate modeling of complex motion. We further propose, to our knowledge, the first method for sound field reconstruction from such multi-view audiovisual data. Together, these components form a unified pipeline for immersive volumetric video production. Extensive benchmarks and immersive VR experiments demonstrate that our pipeline generates high-quality, temporally stable audiovisual volumetric content with large 6-DoF interaction spaces. This work provides both a foundational definition and a practical construction methodology for immersive volumetric videos.

Analysis:

作为计算机视觉和机器学习领域的专家，我针对这篇发表于2026年的论文《Realizing Immersive Volumetric Video: A Multimodal Framework for 6-DoF VR Engagement》进行如下深度分析：

该论文提出了一种全新的沉浸式体积视频（IVV）格式，旨在实现真实场景向6自由度（6-DoF）虚拟现实的转化。研究团队通过构建大规模、高分辨率的多模态数据集ImViD，并结合基于3D高斯（Gaussian）的动态光场重建技术及首创的声场重建方案，构建了一套从采集到渲染的完整端到端生产流水线。

• 多模态数据集 ImViD：突破了现有基准测试在时空分辨率上的限制，提供了5K分辨率、60 FPS且具备空间导向特征的多视角视音频数据，能够支持复杂的前景与背景交互建模。
• 动态光场建模（Dynamic Light Field Reconstruction）：引入了基于高斯溅射（Gaussian Splatting）的动态表示方法。其创新点在于：
  • 流引导稀疏初始化：通过运动流信息辅助高斯点云的动态初始化，提升复杂运动建模的鲁棒性。
  • 联合时空校准：解决了多视角同步中的时间对齐与相机参数漂移问题。
• 视听一体化（Audiovisual Integration）：这是该论文最具前瞻性的贡献，不仅重建视觉，还首次实现了从多视角视音频数据中进行声场重建，为VR环境中的空间音频反馈提供了物理基础。

• 定义了新标准：该研究将体积视频的概念从“静态物体”扩展到了“动态交互场景”，为VR/AR内容创作提供了一种能够直接由真实世界拍摄生成的高保真方案，极大地降低了对传统计算机图形学建模（CGI）的依赖。
• 视觉与音频的耦合：长期以来，计算机视觉领域倾向于仅处理视觉信息，而该工作推动了视听多模态学习在三维重建中的深层融合，为打造“全感官”数字孪生迈出了重要一步。

• 虚拟现实（VR）与元宇宙：为沉浸式远程会议、虚拟演出和交互式叙事提供了高保真的场景基础。
• 数字孪生与数字人：在教育培训、医疗模拟等需要精确动态空间呈现的场景中具有极高的应用价值。
• 多媒体通信：其动态光场压缩与重建技术有助于降低实时传输高保真空间视频的带宽需求。
• 自动驾驶仿真：数据集中的复杂场景和视听交互数据可用于训练感知算法在复杂环境下的多模态决策能力。

• 数据采集成本极高：摘要提到“自定义采集设备”和复杂的场景捕捉，意味着该流程目前难以大众化，对硬件基础设施有高度依赖。
• 算力瓶颈：尽管使用了Gaussian-based方法提升了效率，但5K分辨率、60 FPS的动态场景建模依然对GPU显存和实时渲染算力提出了极高挑战，在边缘设备（如VR头显端）上的实时运行仍可能存在瓶颈。
• 遮挡处理与长序列稳定性：尽管有“多项时空监督”，但针对长时间、剧烈运动且存在严重遮挡的场景，如何保持时间轴上的绝对稳定（Temporal Consistency）以及避免伪影（Artifacts），仍是此类基于隐式表示方法难以彻底根除的难题。

专家总结： 这篇论文的趣味性在于它不仅是在做“重建”，更是在做“体验的重构”。它将静态的三维重建任务提升为动态的时空声场合成任务。对于CV研究者而言，如何利用多模态信号约束非结构化的三维空间表示，是该论文最值得深入挖掘的技术蓝海。

Key Findings:

• We introduce Immersive Volumetric Videos, a new volumetric media format designed to provide large 6-DoF interaction spaces, audiovisual feedback, and high-resolution, high-frame-rate dynamic content.
• To support IVV construction, we present ImViD, a multi-view, multi-modal dataset built upon a space-oriented capture philosophy.
• Leveraging this dataset, we develop a dynamic light field reconstruction framework built upon a Gaussian-based spatio-temporal representation, incorporating flow-guided sparse initialization, joint camera temporal calibration, and multi-term spatio-temporal supervision for robust and accurate modeling of complex motion.

Links:

• PDF
• arXiv

---

Authors: Mohammad Omama, Gabriele Berton, Eric Foxlin, Yelin Kim

Published: 2026-04-10

Categories: cs.CV

Abstract:

Precise and real-time visual localization is critical for applications like AR/VR and robotics, especially on resource-constrained edge devices such as smart glasses, where battery life and heat dissipation can be a primary concerns. While many efficient models exist, further reducing compute without sacrificing accuracy is essential for practical deployment. To address this, we propose asymmetric visual localization: a large Teacher model processes pre-mapped database images offline, while a lightweight Student model processes the query image online. This creates a challenge in matching features from two different models without resorting to heavy, learned matchers. We introduce AsymLoc, a novel distillation framework that aligns a Student to its Teacher through a combination of a geometry-driven matching objective and a joint detector-descriptor distillation objective, enabling fast, parameter-less nearest-neighbor matching. Extensive experiments on HPatches, ScanNet, IMC2022, and Aachen show that AsymLoc achieves up to 95% of the teacher's localization accuracy using an order of magnitude smaller models, significantly outperforming existing baselines and establishing a new state-of-the-art efficiency-accuracy trade-off.

Analysis:

精准且实时的视觉定位对于AR/VR和机器人技术至关重要，特别是在对电池寿命和散热极其敏感的边缘设备（如智能眼镜）上。尽管存在许多高效模型，但在不牺牲准确性的前提下进一步降低计算开销对实际部署至关重要。为此，我们提出了“非对称视觉定位（Asymmetric Visual Localization）”：由大型Teacher模型离线处理预映射的数据库图像，而轻量级的Student模型则在线处理查询图像。这产生了一个挑战：如何在不使用沉重的学习型匹配器的情况下，实现来自不同模型的特征匹配。我们引入了AsymLoc，这是一个新颖的蒸馏框架，通过结合几何驱动的匹配目标和联合检测器-描述符蒸馏目标，使Student模型与Teacher模型对齐，从而实现快速、无需参数的最近邻匹配。在HPatches、ScanNet、IMC2022和Aachen数据集上的广泛实验表明，AsymLoc在使用小一个数量级模型的情况下，达到了Teacher定位精度的95%，显著优于现有基线，确立了新的效率-精度权衡标准。

• 驱动力：旨在解决边缘设备（如智能眼镜）上实时视觉定位的算力与能耗瓶颈，同时维持高定位精度。
• 现有痛点：传统模型往往在推理精度与计算复杂度之间二选一；现有轻量化模型虽然推理快，但会导致显著的精度损失。此外，现有的匹配方法（如SuperGlue等）引入了过大的额外参数开销，使得轻量化模型失去优势。
• 研究假设：通过将“离线预处理数据库”与“在线轻量化查询”解耦，利用非对称蒸馏，可以使轻量化Student在保持极低计算成本的同时，实现与大型Teacher相近的匹配能力。

• 流程总结：
  1. Teacher/Student提取：利用Teacher模型离线提取数据库特征，Student在线提取查询特征。
  2. 几何匹配损失（Geometric Matching Loss）：利用已知的同源性（Homography）或对极几何，计算Teacher与Student特征之间的软匹配矩阵。该矩阵结合了检测器置信度与描述符相似度，仅对Teacher高置信度的特征点进行监督，确保几何一致性。
  3. 联合蒸馏（Joint Detector-Descriptor Distillation）：将检测器置信度与描述符相似度耦合在同一个联合概率空间。通过对Teacher-Teacher相似度矩阵和Student-Teacher相似度矩阵进行KL散度对齐，强制Student学习Teacher的特征匹配交互模式。
• 关键公式：$P_{ij}^{TS}$ 是通过Softmax正则化的检测器加权相似度矩阵，将特征点的检测置信度（$w$）作为门控机制，调节描述符相似度对匹配的影响，从而实现检测器和描述符的联合对齐。

• 本质区别：传统蒸馏通常关注输出分布的对齐，而AsymLoc关注的是“跨模型特征匹配的几何与概率结构一致性”。
• 创新贡献：首次在视觉定位中提出非对称架构，引入联合检测器-描述符概率蒸馏损失。
• 适用场景：任何需要离线建图、在线轻量化实时定位的场景。

• 验证方法：在四个代表性数据集（HPatches, ScanNet, IMC2022, Aachen）上与多种蒸馏基线（如RKD, CSD, D3Still）进行对比。
• 关键结果：在SiLK和SuperPoint作为Teacher的情况下，AsymLoc在参数量减少25倍的同时，达到了Teacher精度的93%–95.5%。
• 优势：极高的参数效率与推理效率（GFLOPS显著降低），推理过程无需学习型匹配器，仅通过简单的最近邻匹配即可工作。
• 局限：在极小模型（<0.02M参数）下性能有明显衰减，且高度依赖于高质量的Teacher模型预训练。

• 实现建议：超参数$\lambda_{KD}$建议设为2，检测置信度阈值$\tau_d$建议设为0.65。需准备大量的同源性图像对（如COCO数据集+随机投影）用于蒸馏训练。
• 迁移方向：该蒸馏思想可轻易迁移到其他以成对匹配为基础的任务（如立体匹配、光流估计、多模态特征对齐）。

• 核心思想：非对称架构下，通过联合几何与概率约束实现跨模型特征匹配对齐。
• 速记版pipeline：
  1. 预训练大模型提取数据库点；
  2. 小模型在线提取查询点；
  3. 基于几何真值算匹配概率；
  4. 约束小模型输出对齐大模型分布。

Key Findings:

• To address this, we propose asymmetric visual localization: a large Teacher model processes pre-mapped database images offline, while a lightweight Student model processes the query image online.
• We introduce AsymLoc, a novel distillation framework that aligns a Student to its Teacher through a combination of a geometry-driven matching objective and a joint detector-descriptor distillation objective, enabling fast, parameter-less nearest-neighbor matching.
• Extensive experiments on HPatches, ScanNet, IMC2022, and Aachen show that AsymLoc achieves up to 95% of the teacher's localization accuracy using an order of magnitude smaller models, significantly outperforming existing baselines and establishing a new state-of-the-art efficiency-accuracy trade-off.

Links:

• PDF
• arXiv

---

Authors: Siyuan Zhou, Hejun Wang, Hu Cheng, Jinxi Li, Dongsheng Wang, Junwei Jiang, Yixiao Jin, Jiayue Huang, Shiwei Mao, Shangjia Liu, Yafei Yang, Hongkang Song, Shenxing Wei, Zihui Zhang, Peng Huang, Shijie Liu, Zhengli Hao, Hao Li, Yitian Li, Wenqi Zhou, Zhihan Zhao, Zongqi He, Hongtao Wen, Shouwang Huang, Peng Yun, Bowen Cheng, Pok Kazaf Fu, Wai Kit Lai, Jiahao Chen, Kaiyuan Wang, Zhixuan Sun, Ziqi Li, Haochen Hu, Di Zhang, Chun Ho Yuen, Bing Wang, Zhihua Wang, Chuhang Zou, Bo Yang

Published: 2026-04-10

Categories: cs.CV, cs.AI, cs.LG, cs.RO

Abstract:

We present PhysInOne, a large-scale synthetic dataset addressing the critical scarcity of physically-grounded training data for AI systems. Unlike existing datasets limited to merely hundreds or thousands of examples, PhysInOne provides 2 million videos across 153,810 dynamic 3D scenes, covering 71 basic physical phenomena in mechanics, optics, fluid dynamics, and magnetism. Distinct from previous works, our scenes feature multiobject interactions against complex backgrounds, with comprehensive ground-truth annotations including 3D geometry, semantics, dynamic motion, physical properties, and text descriptions. We demonstrate PhysInOne's efficacy across four emerging applications: physics-aware video generation, long-/short-term future frame prediction, physical property estimation, and motion transfer. Experiments show that fine-tuning foundation models on PhysInOne significantly enhances physical plausibility, while also exposing critical gaps in modeling complex physical dynamics and estimating intrinsic properties. As the largest dataset of its kind, orders of magnitude beyond prior works, PhysInOne establishes a new benchmark for advancing physics-grounded world models in generation, simulation, and embodied AI.

Analysis:

这是一份关于PhysInOne数据集及其相关物理评估框架的深度分析。

我们提出了PhysInOne，一个大规模的合成数据集，旨在解决人工智能系统缺乏物理基础训练数据的关键问题。与现有仅包含数百或数千个样本的数据集不同，PhysInOne提供了跨越153,810个动态3D场景的200万个视频，涵盖了力学、光学、流体力学和磁学中的71种基础物理现象。我们的数据集包含详尽的标注，包括3D几何、语义、动态轨迹、物理属性及文本描述。我们展示了PhysInOne在物理感知视频生成、长/短时未来帧预测、物理属性估计和运动迁移这四类新兴应用中的效能。实验表明，在PhysInOne上对基础模型进行微调，显著提升了物理合理性，同时也揭示了在复杂物理动力学建模和内在属性估计方面的关键瓶颈。作为同类中最大的数据集，PhysInOne为推动物理基础世界模型在生成、模拟和具身智能领域的发展树立了新基准。

• 驱动力：现有的生成式AI在处理物理世界的动态规律时往往会出现“违反物理定律”的现象（如物体上浮、速度突变），核心原因在于缺乏大规模、高质量、标注详尽的物理动态数据集。
• 现有方法痛点：现有数据集通常仅聚焦于极少数几种物理现象，物体形状简单（如球、方块），背景单调，且标注深度不足（缺乏精确的动力学参数、3D网格轨迹等）。
• 研究假设：通过在海量、多场景、涵盖多种物理约束的复杂3D环境中进行训练，能够使模型从数据中“内化”基本的物理规律，从而在下游任务中表现出更强的物理合理性。

• Pipeline总结：
  1. 物理仿真与构建：识别71种物理现象，结合Chaos Physics (UE5)、Taichi (MPM)和Doriflow (SPH)进行高保真仿真。
  2. 多物体/多场景建模：采用4步流水线（仿真 emulation -> 设置背景 -> 放置多物体 -> 改变材质）实现多样化场景。
  3. 多视角视频渲染：每场景固定12视角+1移动视角，生成200万个视频。
  4. 多维度标注：利用Qwen3生成文本描述，并同步记录几何、语义、运动轨迹及物理属性（JSON）。
• 核心指标创新 (PMF)：作者引入了物理运动保真度 (PMF)。该指标通过3D Discrete Fourier Transform (DFT)将视频转换为频域表示，比较生成视频与参考视频的归一化能量谱。
  • 优势：该指标对初始时空平移和亮度变化具有不变性，能够解耦视觉外观的微小差异，直接衡量运动轨迹是否符合物理规律。

• 本质区别：从传统的基于像素相似度（如PSNR/SSIM）的评估转变为基于频域物理动态特征的评估。
• 创新贡献：建立了目前规模最大（200万视频）、物理现象最全（71种）、标注最深度（包含动力学参数）的基准库。
• 适用场景：适用于视频生成模型微调、视频预测模型评估、物理属性估计及具身智能训练。

• 验证方法：对SVD、CogVideoX、Wan2.2等主流生成模型进行微调（LoRA/SFT/FLT），并对TiNeuVox、DefGS等预测模型进行性能评测。
• 关键结论：实验显示，在PhysInOne上微调后，视频生成的物理合理性（PMF及人类评测）显著提升；但不同物理类别表现不均衡，模型在力学和光学上仍面临挑战。
• 主要局限：作为合成数据集，其物理模拟与真实物理世界（Sim-to-Real）仍存在Gap；此外，对复杂交互的建模仍是当前模型的短板。

• 开源情况：已开源，详情参见官方GitHub。
• 实现建议：
  • 微调：建议采用SFT技术，因为其在保持模型通用性的同时能更有效地注入物理知识。
  • 评估：对于物理运动任务，优先使用PMF指标而非传统的MSE或SSIM，因为后者无法有效区分物理上的“合理解”与“视觉重合”。
• 迁移方向：该方法论可以迁移到复杂的机器人操作任务中，作为动作预测的前置训练数据。

• 核心思想：大规模高保真多物理协同仿真，构建物理可解释的世界模型训练基准。
• 速记版pipeline：
  1. 物理规律解构为71种现象；
  2. 使用UE5/Taichi/Doriflow进行多引擎仿真；
  3. 自动化生成多视角视频与动力学标注；
  4. 引入频域物理保真度评价指标。

Key Findings:

• We present PhysInOne, a large-scale synthetic dataset addressing the critical scarcity of physically-grounded training data for AI systems.
• We demonstrate PhysInOne's efficacy across four emerging applications: physics-aware video generation, long-/short-term future frame prediction, physical property estimation, and motion transfer.
• As the largest dataset of its kind, orders of magnitude beyond prior works, PhysInOne establishes a new benchmark for advancing physics-grounded world models in generation, simulation, and embodied AI.

Links:

• PDF
• arXiv

---

Authors: Qingwen Zhang, Xiaomeng Zhu, Chenhan Jiang, Patric Jensfelt

Published: 2026-04-10

Categories: cs.CV

Abstract:

Reliable 3D dynamic perception requires models that can anticipate motion beyond predefined categories, yet progress is hindered by the scarcity of dense, high-quality motion annotations. While self-supervision on unlabeled real data offers a path forward, empirical evidence suggests that scaling unlabeled data fails to close the performance gap due to noisy proxy signals. In this paper, we propose a shift in paradigm: learning robust real-world motion priors entirely from scalable simulation. We introduce SynFlow, a data generation pipeline that generates large-scale synthetic dataset specifically designed for LiDAR scene flow. Unlike prior works that prioritize sensor-specific realism, SynFlow employs a motion-oriented strategy to synthesize diverse kinematic patterns across 4,000 sequences ($\sim$940k frames), termed SynFlow-4k. This represents a 34x scale-up in annotated volume over existing real-world benchmarks. Our experiments demonstrate that SynFlow-4k provides a highly domain-invariant motion prior. In a zero-shot regime, models trained exclusively on our synthetic data generalize across multiple real-world benchmarks, rivaling in-domain supervised baselines on nuScenes and outperforming state-of-the-art methods on TruckScenes by 31.8%. Furthermore, SynFlow-4k serves as a label-efficient foundation: fine-tuning with only 5% of real-world labels surpasses models trained from scratch on the full available budget. We open-source the pipeline and dataset to facilitate research in generalizable 3D motion estimation. More detail can be found at https://kin-zhang.github.io/SynFlow.

Analysis:

可靠的3D动态感知需要模型能够预测预定义类别之外的运动，但由于缺乏密集、高质量的运动标注，进展受阻。尽管在未标记真实数据上的自监督学习提供了一条路径，但实证结果表明，由于代理信号（proxy signals）的噪声，扩大未标记数据规模未能缩小性能差距。在本文中，我们提出了一个范式转变：完全从可扩展的模拟中学习鲁棒的真实世界运动先验。我们引入了SynFlow，这是一种专为LiDAR场景流设计的合成数据生成流水线。与以往优先考虑传感器级真实感的工作不同，SynFlow采用了一种以运动为导向的策略，在4,000个序列（约940k帧）中合成多样的运动模式，称为SynFlow-4k。这比现有的真实世界基准测试在标注量上增加了34倍。我们的实验表明，SynFlow-4k提供了高度域不变的运动先验。在零样本（zero-shot）方案中，仅在我们的合成数据上训练的模型能够泛化到多个真实世界基准，在nuScenes上媲美领域内有监督基线，在TruckScenes上超越了现有最先进方法31.8%。此外，SynFlow-4k可作为标签高效的基座：仅用5%的真实世界标签进行微调，其效果就超过了在全量预算下从头开始训练的模型。我们开源了该流水线和数据集，以促进通用3D运动估计的研究。

• 驱动力：LiDAR场景流学习的本质是理解物体的运动规律（物理一致性），而非追求真实世界的视觉纹理或语义细节。作者希望通过大规模合成数据来弥补真实标注的稀缺。
• 现有方法痛点：基于自监督的现有方法依赖于刚性约束或几何对齐，这些代理信号在传感器噪声、稀疏性和非刚性运动下极易失效，导致模型性能存在严重瓶颈。
• 研究假设：LiDAR场景流学习依赖于多样的运动模式（运动学物理），而非视觉表现力。只要模拟器能生成准确的刚体物理运动，即使缺乏视觉真实感，也能提供可迁移的监督信号。

SynFlow是一个自动化、迭代的数据生成pipeline，遵循“采样 → 滚动生成 → 导出”的流程：

• 拓扑离散化策略：将地图划分为精细的车道片段，通过贪心搜索构建“路线库”，强制模型学习长尾道路结构（如高速公路匝道、复杂交叉路口），确保几何多样性。
• 速度范围覆盖策略：利用道路类型相关的限速规则，而非手动调节，诱导产生从低速拥堵到高速公路的不同运动状态，解决场景流中大位移学习困难的问题。
• 多智能体交互策略：通过控制Traffic Manager诱导复杂的交通行为（合并、超车、急停），产生非线性、复杂的相对运动。
• 标签生成核心：直接获取模拟器内部的物理状态（Rigid-body pose）及点云实例ID，通过以下公式生成稠密真实流： $$\mathbf{p}^{\star}_i = \mathbf{T}^{t+1}_k (\mathbf{T}^{t}_k)^{-1} \mathbf{p}_i, \quad \mathbf{f}_i = \mathbf{p}^{\star}_i - \mathbf{p}_i$$ 这保证了流场信息的完美准确性，且无需任何人工介入。

• 本质区别：从追求传感器级渲染逼真度转变为追求动力学覆盖范围和交互复杂性。
• 创新贡献：提出了“运动导向”的数据生成范式；证明了通过合成数据学习运动先验具备跨传感器、跨场景的强鲁棒迁移能力。
• 适用场景：适用于任何需要高精度、海量标注，但现实中难以获取此类数据的3D感知任务。

• 验证方法：在nuScenes、TruckScenes、Aeva数据集上进行零样本迁移测试，并结合真实数据微调进行对比。
• 关键结果：仅凭合成数据，模型即在TruckScenes上以31.8%的优势超越监督学习基线；使用5%真实标注微调，即可超越全量数据训练的效果。
• 主要优势：极佳的通用性和标签效率；解决了长尾交互样本稀缺问题。
• 主要局限：目前是“生成-训练”的开环模式，缺乏针对模型错误样本的闭环反馈修正。

• 开源地址：https://kin-zhang.github.io/SynFlow
• 实现细节：建议在仿真环境中同步模式下运行，固定时间步长$\Delta t = 0.1s$；采用HDF5格式存储数据以高效读取。
• 迁移建议：该策略可直接移植到其他模拟器（如Isaac Sim），用于室内导航、机械臂操控等存在动力学交互的领域。

• 核心思想：利用物理仿真生成稠密运动，通过多样性先验实现零样本感知。
• 速记版Pipeline：
  1. 地图网格化并贪心采样路线；
  2. 设置动态交通流与不同限速 regimes；
  3. 运行确定性仿真，导出位姿与点云；
  4. 计算刚体变换生成精准稠密流标签。

Key Findings:

• In this paper, we propose a shift in paradigm: learning robust real-world motion priors entirely from scalable simulation.
• We introduce SynFlow, a data generation pipeline that generates large-scale synthetic dataset specifically designed for LiDAR scene flow.
• In a zero-shot regime, models trained exclusively on our synthetic data generalize across multiple real-world benchmarks, rivaling in-domain supervised baselines on nuScenes and outperforming state-of-the-art methods on TruckScenes by 31.8%.

Links:

• PDF
• arXiv

---