以下是为您准备的每日报告执行摘要，涵盖2026年4月27日arXiv计算机视觉领域的10篇论文：

---

本日论文呈现三大主线：多模态与视觉语言模型（VLM）的优化与落地、具身智能与机器人学习，以及高效推理与融合感知。具体表现为：

• 多模态模型继续向“开源、高效、可控”演进，重点解决幻觉、编辑灵活性和知识蒸馏问题。
• 机器人学习聚焦于物理推理基准、实时动作生成和高保真仿真器，强调从“感知”到“物理交互”的闭环。
• 传感器融合与选择性预测等任务驱动型方法，在模型安全性与模态互补性上取得进展。

1. 《Nemotron 3 Nano Omni》（NVIDIA）：开源、高效的多模态模型，有望推动非商业场景下的低成本部署，具有产业影响力。
2. 《MotionBricks》（Tingwu Wang等）：提出模块化潜在生成模型与智能基元，实现可扩展的实时动作生成，对游戏、影视和机器人控制意义重大。
3. 《SIEVES》（Hector Rodriguez等）：通过视觉证据评分实现选择性预测，为模型在不安全或模糊输入时的“拒答”机制提供了新框架，提升可靠性与泛化性。
4. 《KinDER》（Yixuan Huang等）：构建物理推理基准，专门用于机器人学习与规划，填补了现有基准缺乏物理约束评估的空白。
5. 《Prefill-Time Intervention》（Chengsheng Zhang等）：在预填充阶段干预大视觉语言模型，从根源上减少幻觉，方法新颖且实用性强。

• 预填充阶段干预：反事后纠正的范式，在生成早期阻断幻觉，或成为VLM安全训练标配。
• 解耦双原子强化学习（DDA-Thinker）：将推理驱动图像编辑拆解为“原子动作”，提升编辑精度与可控性。
• 基于知识蒸馏的语义分割（Canonical Knowledge Distillation）：揭示规范化的特征蒸馏在分割任务中的意外有效性，提示现有蒸馏方法可能过于复杂。
• 异质查询交互融合（Control Your Queries）：提出摄像头-雷达融合中的动态查询交互机制，增强多模态感知的鲁棒性。

1. 《Nemotron 3 Nano Omni》——如果你关注开源多模态模型趋势及效率权衡。
2. 《SIEVES》——如果你的工作涉及模型安全、可信推理或选择性分类。
3. 《KinDER》——作为机器人物理推理的权威基准，对规划与学习研究不可或缺。
4. 《Prefill-Time Intervention》——最可能改变VLM幻觉研究范式的论文，方法轻量而有效。
5. 《MotionBricks》——对实时、模块化动作生成感兴趣的实践者必读。

---

如需针对上述某篇论文的详细技术拆解或实验对比，可随时告知。

---

1. Nemotron 3 Nano Omni: Efficient and Open Multimodal Intelligence
2. MotionBricks: Scalable Real-Time Motions with Modular Latent Generative Model and Smart Primitives
3. SIEVES: Selective Prediction Generalizes through Visual Evidence Scoring
4. KinDER: A Physical Reasoning Benchmark for Robot Learning and Planning
5. Prefill-Time Intervention for Mitigating Hallucination in Large Vision-Language Models
6. Refinement via Regeneration: Enlarging Modification Space Boosts Image Refinement in Unified Multimodal Models
7. Control Your Queries: Heterogeneous Query Interaction for Camera-Radar Fusion
8. The Surprising Effectiveness of Canonical Knowledge Distillation for Semantic Segmentation
9. DDA-Thinker: Decoupled Dual-Atomic Reinforcement Learning for Reasoning-Driven Image Editing
10. GS-Playground: A High-Throughput Photorealistic Simulator for Vision-Informed Robot Learning

---

Authors: NVIDIA, :, Amala Sanjay Deshmukh, Kateryna Chumachenko, Tuomas Rintamaki, Matthieu Le, Tyler Poon, Danial Mohseni Taheri, Ilia Karmanov, Guilin Liu, Jarno Seppanen, Arushi Goel, Mike Ranzinger, Greg Heinrich, Guo Chen, Lukas Voegtle, Philipp Fischer, Timo Roman, Karan Sapra, Collin McCarthy, Shaokun Zhang, Fuxiao Liu, Hanrong Ye, Yi Dong, Mingjie Liu, Yifan Peng, Piotr Zelasko, Zhehuai Chen, Nithin Rao Koluguri, Nune Tadevosyan, Lilit Grigoryan, Ehsan Hosseini Asl, Pritam Biswas, Leili Tavabi, Yuanhang Su, Zhiding Yu, Peter Jin, Alexandre Milesi, Netanel Haber, Yao Xu, Sarah Amiraslani, Nabin Mulepati, Eric Tramel, Jaehun Jung, Ximing Lu, Brandon Cui, Jin Xu, Zhiqi Li, Shihao Wang, Yuanguo Kuang, Shaokun Zhang, Huck Yang, Boyi Li, Hongxu Yin, Song Han, Pavlo Molchanov, Adi Renduchintala, Charles Wang, David Mosallanezhad, Soumye Singhal, Luis Vega, Katherine Cheung, Sreyan Ghosh, Yian Zhang, Alexander Bukharin, Venkat Srinivasan, Johnny Greco, Andre Manoel, Maarten Van Segbroeck, Suseella Panguliri, Rohit Watve, Divyanshu Kakwani, Shubham Pachori, Jeffrey Glick, Radha Sri-Tharan, Aileen Zaman, Khanh Nguyen, Shi Chen, Jiaheng Fang, Qing Miao, Wenfei Zhou, Yu Wang, Zaid Pervaiz Bhat, Varun Praveen, Arihant Jain, Ramanathan Arunachalam, Tomasz Kornuta, Ashton Sharabiani, Amy Shen, Wei Huang, Yi-Fu Wu, Ali Roshan Ghias, Huiying Li, Brian Yu, Nima Tajbakhsh, Chen Cui, Wenwen Gao, Li Ding, Terry Kong, Manoj Kilaru, Anahita Bhiwandiwalla, Marek Wawrzos, Daniel Korzekwa, Pablo Ribalta, Grzegorz Chlebus, Besmira Nushi, Ewa Dobrowolska, Maciej Jakub Mikulski, Kunal Dhawan, Steve Huang, Jagadeesh Balam, Yongqiang Wang, Nikolay Karpov, Valentin Mendelev, George Zelenfroynd, Meline Mkrtchyan, Qing Miao, Omri Almog, Bhavesh Pawar, Rameshwar Shivbhakta, Sudeep Sabnis, Ashrton Sharabiani, Negar Habibi, Geethapriya Venkataramani, Pamela Peng, Prerit Rodney, Serge Panev, Richard Mazzarese, Nicky Liu, Michael Fukuyama, Andrii Skliar, Roger Waleffe, Duncan Riach, Yunheng Zou, Jian Hu, Hao Zhang, Binfeng Xu, Yuhao Yang, Zuhair Ahmed, Alexandre Milesi, Carlo del Mundo, Chad Voegele, Zhiyu Cheng, Nave Assaf, Andrii Skliar, Daniel Afrimi, Natan Bagrov, Ran Zilberstein, Ofri Masad, Eugene Khvedchenia, Natan Bagrov, Borys Tymchenko, Tomer Asida, Daniel Afrimi, Parth Mannan, Victor Cui, Michael Evans, Katherine Luna, Jie Lou, Pinky Xu, Guyue Huang, Negar Habibi, Michael Boone, Pradeep Thalasta, Adeola Adesoba, Dina Yared, Christopher Parisien, Leon Derczynski, Shaona Ghosh, Wes Feely, Micah Schaffer, Radha Sri-Tharan, Jeffrey Glick, Barnaby Simkin, George Zelenfroynd, Tomasz Grzegorzek, Rishabh Garg, Aastha Jhunjhunwala, Sergei Kolchenko, Farzan Memarian, Haran Kumar, Shiv Kumar, Isabel Hulseman, Anjali Shah, Kari Briski, Padmavathy Subramanian, Joey Conway, Udi Karpas, Jane Polak Scowcroft, Annie Surla, Shilpa Ammireddy, Ellie Evans, Jesse Oliver, Tom Balough, Chia-Chih Chen, Sandip Bhaskar, Alejandra Rico, Bardiya Sadeghi, Seph Mard, Katherine Cheung, Meredith Price, Laya Sleiman, Saori Kaji, Wesley Helmholz, Wendy Quan, Michael Lightstone, Jonathan Cohen, Jian Zhang, Oleksii Kuchaiev, Boris Ginsburg, Jan Kautz, Eileen Long, Mohammad Shoeybi, Mostofa Patwary, Oluwatobi Olabiyi, Andrew Tao, Bryan Catanzaro, Udi Karpas

Published: 2026-04-27

Categories: cs.LG, cs.AI, cs.CV

Abstract:

We introduce Nemotron 3 Nano Omni, the latest model in the Nemotron multimodal series and the first to natively support audio inputs alongside text, images, and video. Nemotron 3 Nano Omni delivers consistent accuracy improvements over its predecessor, Nemotron Nano V2 VL, across all modalities, enabled by advances in architecture, training data and recipes. In particular, Nemotron 3 delivers leading results in real-world document understanding, long audio-video comprehension, and agentic computer use. Built on the highly efficient Nemotron 3 Nano 30B-A3B backbone, Nemotron 3 Nano Omni further incorporates innovative multimodal token-reduction techniques to deliver substantially lower inference latency and higher throughput than other models of similar size. We are releasing model checkpoints in BF16, FP8, and FP4 formats, along with portions of the training data and codebase to facilitate further research and development.

Analysis:

我们推出了 Nemotron 3 Nano Omni，这是 Nemotron 多模态系列中的最新模型，也是首个原生支持音频输入以及文本、图像和视频的模型。得益于架构、训练数据和配方（recipes）的改进，Nemotron 3 在所有模态上均实现了比前代 Nemotron Nano V2 VL 一致的准确度提升。特别是在真实世界的文档理解、长音频-视频理解和智能体计算机使用方面，Nemotron 3 提供了领先的结果。该模型建立在高效的 Nemotron 3 Nano 30B-A3B 主干网络之上，进一步结合了创新的多模态 Token 缩减技术，在同等规模模型中提供了显著更低的推理延迟和更高的吞吐量。我们正在发布 BF16、FP8 和 FP4 格式的模型检查点，以及部分训练数据和代码库，以促进进一步的研究和开发。

• 驱动力：在多模态 MoE 模型训练中，面对异构数据源带来的模态对齐困难、训练不稳定及数据平衡问题，作者旨在平衡文本推理能力与多模态性能。
• 现有方法痛点：以往的瓦片式（tiling-based）图像处理无法很好地保留原生宽高比；视频处理在时间维度上冗余高；长上下文处理难以兼顾推理性能与模型质量。
• 研究假设：通过分阶段、课程学习式的训练策略（先对齐模态，再扩展上下文，最后进行 RL 对齐），可以有效缓解灾难性遗忘并稳定交叉模态对齐。

• 核心架构：采用 Encoder-Projector-Decoder 设计。LLM 主干是 Nemotron 3 Nano 30B-A3B MoE，视觉编码器为 C-RADIOv4-H，音频编码器为 Parakeet-TDT-0.6B-v2。
• 技术创新：
  1. 动态图像分辨率：替代传统固定瓦片式处理，根据图像内容动态分解为可变数量的 16×16 Patch，保留原生宽高比，通过像素混洗（Pixel Shuffle）进行 4× 下采样以减少 Token 数。
  2. Conv3D 视频压缩：将每连续两帧融合为一个“管状体（tubelet）”，在 ViT 层前直接实现 2× 帧数压缩，显著减少 KV Cache 和预填充计算成本。
  3. Efficient Video Sampling (EVS)：推理时在 ViT 层之后、LLM 层之前，利用管状体间的余弦相似度丢弃冗余 Token，实现空间维度的动态剪枝。
  4. 音频处理：利用 FastConformer 对音频进行 8× 时间下采样，输出约 12.5 tokens/s 的音频表征。
• 训练流水线：由 SFT 七阶段（Vision/Audio Projector Warmup -> Vision+LLM SFT -> Joint Omni SFT -> Context Extension）及 RL 阶段组成。RL 采用 MPO 优化，包含对视觉任务、音频任务及通用 reasoning 的分阶段强化学习。

• 本质区别：Nemotron 3 Nano Omni 侧重于系统级的“算力优化”，通过架构层面的 Conv3D 和推理层的 EVS 动态剪枝，解决了高分辨率视觉/视频输入带来的推理瓶颈。
• 创新贡献：提出了一种将“架构修改（Conv3D）”与“运行时动态策略（EVS）”相结合的系统方案，实现了极高的推理性能，同时通过多阶段 RL 强化了对多模态推理链的控制。

• 验证方法：在 STEM Reasoning、文档理解、视频理解及音频任务等多个权威榜单（如 Video-MME, OCRBench-V2）进行对比。
• 关键结果：在 NVIDIA B200 上，相比 Qwen3-Omni，其在长视频负载下的输出吞吐量高出 9 倍，TTFT 显著缩短。在保持 BF16 性能的前提下，通过 FP4 量化仅损失不到 1% 的精度。
• 优势：极高的推理效率（低延迟、高吞吐）和出色的跨模态推理能力。
• 局限：在极高 pruning rate 下（>0.8），LongVideoBench 的准确度会有明显下滑。

• 开源情况：已发布模型检查点 (BF16/FP8/FP4)、训练代码 (Megatron-Bridge) 及数据生成管道。
• 迁移与应用：其 Conv3D 和 EVS 技术可直接迁移至其他基于 ViT 的视频-语言模型。在自定义任务中，可参考其分阶段 warmup 策略，先锁定基座冻结 Projector 进行模态对齐。
• 核心细节：BF16/FP8/FP4 混合精度策略是保持性能的关键，特别是针对 MoE experts 的 NVFP4 量化策略。

• 核心思想：通过软硬协同的 Token 剪枝实现高效 omni-modal 推理。
• 速记版pipeline：
  1. 图像/视频处理：动态分辨率与 Conv3D 预压缩。
  2. 模态融合：多模态 Token 通过 MLP 适配器送入 MoE 主干。
  3. 推理加速：利用 EVS 运行时丢弃冗余视觉 Token。
  4. 分阶段对齐：通过 SFT 和 RL 强化多模态推理质量。

Key Findings:

• We introduce Nemotron 3 Nano Omni, the latest model in the Nemotron multimodal series and the first to natively support audio inputs alongside text, images, and video.

Links:

• PDF
• arXiv

---

Authors: Tingwu Wang, Olivier Dionne, Michael De Ruyter, David Minor, Davis Rempe, Kaifeng Zhao, Mathis Petrovich, Ye Yuan, Chenran Li, Zhengyi Luo, Brian Robison, Xavier Blackwell, Bernardo Antoniazzi, Xue Bin Peng, Yuke Zhu, Simon Yuen

Published: 2026-04-27

Categories: cs.RO, cs.AI, cs.GR, cs.LG

Abstract:

Despite transformative advances in generative motion synthesis, real-time interactive motion control remains dominated by traditional techniques. In this work, we identify two key challenges in bridging research and production: 1) Real-time scalability: Industry applications demand real-time generation of a vast repertoire of motion skills, while generative methods exhibit significant degradation in quality and scalability under real-time computation constraints, and 2) Integration: Industry applications demand fine-grained multi-modal control involving velocity commands, style selection, and precise keyframes, a need largely unmet by existing text- or tag-driven models. To overcome these limitations, we introduce MotionBricks: a large-scale, real-time generative framework with a two-fold solution. First, we propose a large-scale modular latent generative backbone tailored for robust real-time motion generation, effectively modeling a dataset of over 350,000 motion clips with a single model. Second, we introduce smart primitives that provide a unified, robust, and intuitive interface for authoring both navigation and object interaction. Applications can be designed in a plug-and-play manner like assembling bricks without expert animation knowledge. Quantitatively, we show that MotionBricks produces state-of-the-art motion quality on open-source and proprietary datasets of various scales, while also achieving a real-time throughput of 15,000 FPS with 2ms latency. We demonstrate the flexibility and robustness of MotionBricks in a complete production-level animation demo, covering navigation and object-scene interaction across various styles with a unified model. To showcase our framework's application beyond animation, we deploy MotionBricks on the Unitree G1 humanoid robot to demonstrate its flexibility and generalization for real-time robotic control.

Analysis:

这是一篇在生成式动作建模领域具有里程碑意义的论文。以下是对《MotionBricks》的专业分析：

《MotionBricks》提出了一种工业级的实时动作生成框架，成功解决了生成式模型在工业生产中面临的“实时扩展性”与“多模态精准控制”两大难题。通过模块化的潜在空间架构与智能基元（Smart Primitives）设计，该模型在支持超大规模动作库的同时，实现了极高的推理效率（15,000 FPS），为交互式动画与机器人控制提供了一套“积木式”的开发范式。

• 模块化潜在生成骨干（Modular Latent Generative Backbone）： 不同于传统的端到端黑盒生成，该架构将大规模动作数据（35万+片段）压缩并解耦，确保了在实时计算限制下模型质量不发生衰减。
• 智能基元（Smart Primitives）： 这是该论文最具创新性的接口设计。它提供了一种显式的控制机制，允许开发者通过导航参数、物体交互和关键帧来精确引导生成过程，而非仅依赖模糊的文本提示。这种设计实现了动作合成的“可编程性”。
• 工业级性能优化： 该模型实现了2ms的超低延迟，证明了其在计算资源受限环境下依然能保持高质量生成，打破了学术研究与工业实时应用之间的壁垒。

• 打破“生成式AI”在动画制作中的落地瓶颈： 此前，生成式动作模型往往因缺乏精准控制（如特定手部位置、精确路径）而难以进入主流生产管线。MotionBricks 证明了生成式模型可以在保持灵活性的同时，达到工业级的控制精度。
• 通用控制架构的趋势： 该研究展示了“单一模型处理多种交互”的潜力。从数字动画到人形机器人控制（Unitree G1），MotionBricks 展现了一种迈向具身智能的通用底层动作生成策略。

• 交互式娱乐/游戏开发： 允许游戏引擎实时生成复杂、符合语境的动作，无需预录制海量动画资产。
• 具身智能与机器人学： 对于需要高动态、多变交互的人形机器人，该模型提供了一种兼具鲁棒性和灵活性的动作策略层。
• 数字人与虚拟现实（VR）： 为虚拟替身提供实时的、多模态驱动的自然动作，提升交互的真实感。

• 训练数据的依赖性： 尽管拥有35万个片段，但生成式模型的泛化能力仍受限于训练数据覆盖的动作空间。在处理完全未见的罕见运动（Out-of-distribution）时，效果可能依然存在不可控性。
• 物理真实性约束（Physics Plausibility）： 摘要未提及模型是否包含显式的物理模拟约束（如力矩约束、地表接触一致性）。如果仅依靠数据驱动，在处理复杂的物理交互（如搬运重物、复杂地形受力）时，可能依然会出现“滑脚”或物理穿模现象。
• 长程依赖的稳定性： 虽然实时性极高，但长时间序列生成中的动作漂移（Drift）问题是否得到了彻底解决，还有待实验验证。

这篇论文的意义在于它**“工程化了生成式动作”**。在计算机视觉和动作捕捉领域，长期存在“质量”与“控制力”的权衡（Trade-off）。MotionBricks 通过引入“智能基元”，将生成式模型从“概率采样器”提升为“可控执行器”。对于CV领域的视觉合成研究者而言，这种将大规模数据驱动与显式控制逻辑相结合的方法，是未来构建大型具身模型（Large Embodied Models）的重要参考方向。

Key Findings:

• To overcome these limitations, we introduce MotionBricks: a large-scale, real-time generative framework with a two-fold solution.
• First, we propose a large-scale modular latent generative backbone tailored for robust real-time motion generation, effectively modeling a dataset of over 350,000 motion clips with a single model.
• Second, we introduce smart primitives that provide a unified, robust, and intuitive interface for authoring both navigation and object interaction.
• Quantitatively, we show that MotionBricks produces state-of-the-art motion quality on open-source and proprietary datasets of various scales, while also achieving a real-time throughput of 15,000 FPS with 2ms latency.
• We demonstrate the flexibility and robustness of MotionBricks in a complete production-level animation demo, covering navigation and object-scene interaction across various styles with a unified model.

Links:

• PDF
• arXiv

---

Authors: Hector G. Rodriguez, Marcus Rohrbach

Published: 2026-04-28

Categories: cs.CV, cs.AI

Abstract:

Multimodal large language models (MLLMs) achieve ever-stronger performance on visual-language tasks. Even as traditional visual question answering benchmarks approach saturation, reliable deployment requires satisfying low error tolerances in real-world out-of-distribution (OOD) scenarios. Precisely, selective prediction aims to improve coverage, i.e. the share of inputs the system answers, while adhering to a user-defined risk level. This is typically achieved by assigning a confidence score to each answer and abstaining on those that fall below a certain threshold. To enable reliable generalization, we require reasoner models to produce localized visual evidence while answering, and design a selector that explicitly learns to estimate the quality of the localization provided by the reasoner. We show that SIEVES (Selective Prediction through Visual Evidence Scoring) improves coverage by up to three times on challenging OOD benchmarks (V* Bench, HR-Bench-8k, MME-RealWorld-Lite, VizWiz, and AdVQA), compared to non-grounding baselines. Beyond better generalization to OOD tasks, the design of the SIEVES selector enables transfer to proprietary reasoners without access to their weights or logits, such as o3 and Gemini-3-Pro, providing coverage boosts beyond those attributable to accuracy alone. We highlight that SIEVES generalizes across all five tested OOD datasets and reasoner models (Pixel-Reasoner, o3, and Gemini-3-Pro), without benchmark- or reasoner-specific training or adaptation.

Analysis:

多模态大语言模型（MLLMs）在视觉语言任务中表现日益强大。然而，即便传统视觉问答（VQA）基准测试趋于饱和，现实世界的分布外（OOD）场景仍要求极低的错误容忍度。为此，我们提出了选择性预测（Selective Prediction），旨在在满足用户定义风险水平的同时提高覆盖率。通常，这通过为每个答案分配置信度分数并对低于阈值的答案进行弃权来实现。为实现可靠的泛化，我们要求推理模型在回答时提供视觉证据，并设计了一个专门的“选择器”（Selector），通过显式学习来评估推理模型提供的定位质量。我们证明，SIEVES（通过视觉证据评分的选择性预测）在挑战性的OOD基准测试上将覆盖率提高了三倍。此外，SIEVES的选择器设计支持向不透明的闭源推理模型（如o3和Gemini-3-Pro）迁移，无需访问其权重或Logits，实现了优于单纯基于准确率的覆盖率提升。

• 驱动力：旨在解决在可靠性要求极高的场景下，MLLMs无法判断自身回答正确性，导致“一本正经胡说八道”的问题。
• 痛点：
  • 现有的置信度评估方法依赖模型内部状态（如Logits），无法适配闭源模型（API）。
  • 传统方法未充分利用模型产生的中间推理过程，导致对视觉证据的评估不足。
• 研究假设：通过显式评分“推理模型在哪里看（定位）”和“推理内容与所看区域是否匹配（一致性）”，可以更准确地判断模型答案的可靠性，而不仅仅依赖于对答案正确性的概率预测。

1. 带定位的推理：强制推理模型使用“缩放（zoom-in）”工具产生多模态思维链（MM-CoT），获得回答的同时生成关联的图像裁剪（Visual Evidence）。
2. 选择器评估：选择器模型（Gemma-3-4b-it）接收{问题, 图像, 思维链, 最终答案}作为输入，输出三个标量分数：
   • $c_{corr}$（正确性）：答案与真值的一致性。
   • $c_{loc}$（定位得分）：模型裁剪区域是否涵盖了关键视觉信息（基于IoGT）。
   • $c_{coh}$（一致性得分）：推理逻辑是否真正支撑了所选视觉区域。
3. 决策生成：将三者加权求和得到最终置信度分数 $c_{sel}$，低于阈值的样本直接弃权（Reject）。

• 定位评估（$g_{loc}$）：计算预测裁剪框与真值标注框的IoGT（交集占真值比例），使用0.75作为二值化阈值。
• 一致性标注（$g_{coh}$）：无需人工，使用外部VLM（Qwen2.5-VL-7B）判断裁剪图像内容与推理文本的相似度。
• 损失函数：$L = \lambda_{corr} \cdot \text{BCE}(c_{corr}, y) + \lambda_{loc} \cdot \text{BCE}(c_{loc}, g_{loc}) + \lambda_{coh} \cdot \text{BCE}(c_{coh}, g_{coh})$。

• 本质区别：不依赖Logits，而是基于观察到的多模态推理痕迹（MM-CoT）进行辅助判断，属于“黑盒置信度评估”。
• 创新贡献：引入“一致性（coherence）”和“定位（localization）”双维度监督，将置信度评估任务从简单的二分类转变为逻辑一致性验证，增强了对未知reasoner的泛化性。
• 适用场景：高风险决策、需要模型辅助进行多步推理并自我纠错的视觉辅助场景。

• 验证方法：在V*-Bench, VizWiz, AdVQA等5个OOD数据集上测试，涵盖Pixel-Reasoner, o3, Gemini-3-Pro。
• 关键结果：在低风险容忍度下，SIEVES对比无定位基线实现了最高达3倍的覆盖率增长。
• 局限：对推理模型产生多模态思维链的能力有一定依赖；增加了一次图像裁剪的计算开销。

• 开源情况：目前已有相关开源框架（如LLaMA-Factory）。
• 实现细节：
  • 使用LoRA进行微调，秩设为512。
  • 需要先构建一个“定位-回答”的训练数据集，并利用小型VLM完成一致性打标（$g_{coh}$）。
• 迁移可能：该方法极易迁移到任何支持调用工具（Tool-use）的VLM API中，因为只需要解析推理过程的文本痕迹即可。

• 核心思想：利用多模态推理链中的视觉证据，显式验证推理逻辑与视觉内容的匹配度。
• 速记版pipeline：
  1. 调用Zoom-in工具获取关键区域视觉证据；
  2. 利用小模型对“答案准确性、证据定位、证据匹配”三维打分；
  3. 综合加权评分；
  4. 根据阈值决定弃权或输出。

Key Findings:

• We show that SIEVES (Selective Prediction through Visual Evidence Scoring) improves coverage by up to three times on challenging OOD benchmarks (V* Bench, HR-Bench-8k, MME-RealWorld-Lite, VizWiz, and AdVQA), compared to non-grounding baselines.

Links:

• PDF
• arXiv

---

Authors: Yixuan Huang, Bowen Li, Vaibhav Saxena, Yichao Liang, Utkarsh Aashu Mishra, Liang Ji, Lihan Zha, Jimmy Wu, Nishanth Kumar, Sebastian Scherer, Danfei Xu, Tom Silver

Published: 2026-04-28

Categories: cs.RO

Abstract:

Robotic systems that interact with the physical world must reason about kinematic and dynamic constraints imposed by their own embodiment, their environment, and the task at hand. We introduce KinDER, a benchmark for Kinematic and Dynamic Embodied Reasoning that targets physical reasoning challenges arising in robot learning and planning. KinDER comprises 25 procedurally generated environments, a Gymnasium-compatible Python library with parameterized skills and demonstrations, and a standardized evaluation suite with 13 implemented baselines spanning task and motion planning, imitation learning, reinforcement learning, and foundation-model-based approaches. The environments are designed to isolate five core physical reasoning challenges: basic spatial relations, nonprehensile multi-object manipulation, tool use, combinatorial geometric constraints, and dynamic constraints, disentangled from perception, language understanding, and application-specific complexity. Empirical evaluation shows that existing methods struggle to solve many of the environments, indicating substantial gaps in current approaches to physical reasoning. We additionally include real-to-sim-to-real experiments on a mobile manipulator to assess the correspondence between simulation and real-world physical interaction. KinDER is fully open-sourced and intended to enable systematic comparison across diverse paradigms for advancing physical reasoning in robotics. Website and code: https://prpl-group.com/kinder-site/

Analysis:

以下是对《KinDER: A Physical Reasoning Benchmark for Robot Learning and Planning》的深入分析：

机器人系统在与物理世界交互时，必须对自身形态、环境及任务需求所带来的运动学和动力学约束进行推理。我们引入了KinDER，这是一个针对机器人学习和规划中物理推理挑战的基准测试。KinDER包含25个程序化生成的环境、一个具有参数化技能和演示的Gymnasium兼容Python库，以及一个涵盖任务与运动规划（TAMP）、模仿学习、强化学习和基础模型方法的标准化评估套件。这些环境旨在分离五大核心物理推理挑战：基础空间关系、非抓取多物体操纵、工具使用、组合几何约束和动力学约束。实证评估表明，现有方法在解决许多环境时表现吃力，揭示了当前物理推理能力的显著差距。我们还展示了移动机械臂上的实机验证结果。KinDER完全开源，旨在推动机器人物理推理领域的系统性进展。

• 驱动力：解决机器人物理推理能力评估缺乏共识的问题。目前大多数基准测试侧重于应用层（如家庭辅助），物理推理与感知、语言理解等复杂因素纠缠在一起，难以评估模型纯粹的“物理推理”能力。
• 痛点：现有方法往往通过“记忆”解法而非“理解”物理约束来通过测试，且缺乏对运动学和动力学约束的细粒度评价。
• 研究假设：通过将五种物理推理挑战（空间、非抓取操纵、工具、几何约束、动力学）与感知和特定应用复杂性解耦，可以实现对机器人物理推理能力的精准量化评估。

• 流程总结：
  1. 环境构建 (KinDERGarden)：定义25个环境，通过程序化生成实现无限变体，基于Gymnasium接口。
  2. 软件支持 (KinDERGym)：提供参数化技能定义、多种遥控操作接口及标准化演示数据集（通过规划与遥控结合产生）。
  3. 标准化评估 (KinDERBench)：将13种主流Baseline（BP, LLMPlan, VLMPlan, RL, IL等）统一在相同环境中运行。
• 核心模块：
  • 对象中心状态表征：所有环境统一使用对象中心的状态向量（而非原始像素），从而简化了感知需求，强制模型专注于物理逻辑的推理。
  • 参数化技能/选项 (Options)：利用预定义的参数化技能（如Pick, Push）作为推理基元，通过Prolog/PDDL风格的接口供高层规划器调用。
• 关键公式意义：系统采用稀疏奖励（Sparse Reward），即除了成功达成目标外，每一步给予-1奖励。这强制要求智能体在长时程任务中必须完成有效的规划动作，而非通过简单的短期试错获利。

• 本质区别：与ALFRED等应用型基准不同，KinDER是“原子化”的，它有意剥离了视觉歧义和自然语言理解难度，专注于“物理因果推理”。
• 创新点：首次将2D和3D环境统一在一个架构下，并明确提出了物理推理的五大分类体系。
• 适用场景：适用于研究机器人如何处理复杂的组合几何约束（如装箱）和接触动力学（如工具使用），是评价底层推理能力而非感知泛化能力的利器。

• 关键结果：Bilevel Planning (BP) 表现最优，但工程成本极高；大模型方案（LLMPlan/VLMPlan）在复杂任务中仍难以匹敌传统搜索式方法，且视觉输入（VLM）并未带来显著优势，显示其物理逻辑推理能力尚待提升。
• 主要优势：极高的任务可控性，支持评估长时程、少样本甚至零样本的泛化能力。
• 主要局限：目前的物理模拟对于极端细粒度的物理交互（如极其复杂的接触动力学）可能存在模拟器偏差。

• 开源情况：完全开源，见 https://prpl-group.com/kinder-site/。
• 迁移可能：KinDERGym的Gymnasium接口设计极佳，用户可以非常容易地将新的规划器或强化学习算法插入，或自定义新的物理环境。

• 核心思想：通过解耦物理推理挑战与感知复杂性，实现对机器人逻辑思维的标准化量化评估。
• 速记版pipeline：
  1. 定义物理推理环境（KinDERGarden）。
  2. 封装常用操作技能与数据集（KinDERGym）。
  3. 引入主流基准方法运行评测（KinDERBench）。
  4. 通过标准指标（成功率、累计奖励）量化评估。

Key Findings:

• We introduce KinDER, a benchmark for Kinematic and Dynamic Embodied Reasoning that targets physical reasoning challenges arising in robot learning and planning.

Links:

• PDF
• arXiv

---

Authors: Chengsheng Zhang, Chenghao Sun, Xinyan Jiang, Wei Li, Xinmei Tian

Published: 2026-04-28

Categories: cs.CV, cs.AI

Abstract:

Large Vision-Language Models (LVLMs) have achieved remarkable progress in visual-textual understanding, yet their reliability is critically undermined by hallucinations, i.e., the generation of factually incorrect or inconsistent responses. While recent studies using steering vectors demonstrated promise in reducing hallucinations, a notable challenge remains: they inadvertently amplify the severity of residual hallucinations. We attribute this to their exclusive focus on the decoding stage, where errors accumulate autoregressively and progressively worsen subsequent hallucinatory outputs. To address this, we propose Prefill-Time Intervention (PTI), a novel steering paradigm that intervenes only once during the prefill stage, enhancing the initial Key-Value (KV) cache before error accumulation occurs. Specifically, PTI is modality-aware, deriving distinct directions for visual and textual representations. This intervention is decoupled to steer keys toward visually-grounded objects and values to filter background noise, correcting hallucination-prone representations at their source. Extensive experiments demonstrate PTI's significant performance in mitigating hallucinations and its generalizability across diverse decoding strategies, LVLMs, and benchmarks. Moreover, PTI is orthogonal to existing decoding-stage methods, enabling plug-and-play integration and further boosting performance. Code is available at: https://github.com/huaiyi66/PTI.

Analysis:

这是一份关于论文《Prefill-Time Intervention for Mitigating Hallucination in Large Vision-Language Models》的深度方法分析。

---

大型视觉语言模型（LVLMs）在视觉-文本理解方面取得了显著进展，但幻觉（即生成事实错误或前后不一致的回复）严重制约了其可靠性。现有研究利用引导向量减轻幻觉，但这些方法通常专注于解码阶段，容易因错误累积而放大残余幻觉。为此，我们提出了“预填充时间干预”（Prefill-Time Intervention, PTI），这是一种新颖的引导范式。它仅在预填充阶段进行一次干预，在错误累积之前对初始键值（KV）缓存进行增强。PTI具有模态感知能力，能为视觉和文本表示派生出不同的方向，通过将键指向视觉基础对象并过滤背景噪声，从源头上修正易产生幻觉的表示。实验表明，PTI在减轻幻觉方面表现出色，且具有良好的通用性，可与现有的解码阶段方法正交使用，实现即插即用的性能提升。

• 驱动力：解决LVLM在生成过程中因初始错误而引发的“滚雪球”式幻觉扩散问题。
• 现有方法痛点：现有的解码阶段干预（DTI）是反应式的，且往往采用模态不可知的统一向量，目标过于粗糙（隐状态），无法纠正细粒度的视觉感知偏差，且在生成过程中不断干预会导致计算开销过大。
• 研究假设：Transformer中初始阶段构建的KV缓存决定了后续所有解码步骤的上下文信息；通过在预填充阶段对初始KV缓存进行针对性干预，可以从源头根除幻觉。

流程总结（PTI Pipeline）：

1. 阶段一（方向提取）：构建对比任务（如MSCOCO中的图像-标题对）。通过对比正样本（包含对象）和负样本（背景/无对象），提取模态特定的方向向量。
   • 视觉方向：平均池化对比后的视觉KV差值，应用SVD/PCA降噪。
   • 文本方向：针对最后文本Token，通过锚点词（对象）与控制词（背景）构建文本差异，计算 Steering Vectors。
2. 阶段二（下流干预）：在实际推理阶段，将提取的方向向量作为加性偏移量（+）注入到预填充阶段生成的原始KV缓存中。
   • 公式：$\tilde{K}^l[\mathcal{I}] += \lambda \cdot S^l$。
   • 通过独立的 $\lambda_{k/v, img/txt}$ 参数分别控制Key（决定关注哪里）和Value（决定聚合什么）的强度。

模型结构：该方法无需修改模型参数，仅在Attention机制的KV Cache处插入一个轻量级的偏置控制层，具有极高的计算效率。

• 本质区别：从“解码时持续修正”转向“预填充时一次性修正”。
• 创新贡献：
  • 模态解耦：分别对视觉和文本的KV缓存进行差异化引导。
  • 语义解耦：将Key引导至目标对象，将Value过滤噪声，这种针对Attention机制内部结构的精准控制是核心亮点。
• 适用场景：适用于所有Transformer架构的LVLM，尤其在对幻觉敏感的长文本生成任务中优势明显。

• 验证方法：在LLaVA-1.5、Qwen-VL-Chat等主流模型上，在CHAIR、POPE、MMHAL等主流基准测试上进行了广泛对比。
• 关键结果：在不损失生成质量的前提下，显著降低了CHAIR指标（幻觉频率），且对比实验表明该方法优于VISTA和VTI。
• 主要优势：即插即用，几乎零推理延迟，且与现有解码策略完全正交。
• 主要局限：对超参数（干预强度）较为敏感，需要根据具体模型进行网格搜索确定最优值。

• 开源情况：代码已开源至 https://github.com/huaiyi66/PTI。
• 实现细节：建议使用小规模样本（如100个VQA对）进行方向向量提取，以保持普适性；干预强度系数 $\lambda$ 通常在网格搜索下确定，建议先固定视觉与文本强度一致，再进行微调。
• 迁移可能：该方法逻辑通用，可直接应用于任何具备标准Transformer KV缓存结构的视觉语言模型。

• 核心思想：通过KV缓存的前向预处理实现即插即用的幻觉消融。
• 速记版pipeline：
  1. 对比正负样本提取模态引导方向；
  2. 利用PCA过滤方向向量中的噪声；
  3. 在预填充阶段一次性平移KV缓存；
  4. 直接进行标准解码生成。

Key Findings:

• To address this, we propose Prefill-Time Intervention (PTI), a novel steering paradigm that intervenes only once during the prefill stage, enhancing the initial Key-Value (KV) cache before error accumulation occurs.

Links:

• PDF
• arXiv

---

Authors: Jiayi Guo, Linqing Wang, Jiangshan Wang, Yang Yue, Zeyu Liu, Zhiyuan Zhao, Qinglin Lu, Gao Huang, Chunyu Wang

Published: 2026-04-28

Categories: cs.CV

Abstract:

Unified multimodal models (UMMs) integrate visual understanding and generation within a single framework. For text-to-image (T2I) tasks, this unified capability allows UMMs to refine outputs after their initial generation, potentially extending the performance upper bound. Current UMM-based refinement methods primarily follow a refinement-via-editing (RvE) paradigm, where UMMs produce editing instructions to modify misaligned regions while preserving aligned content. However, editing instructions often describe prompt-image misalignment only coarsely, leading to incomplete refinement. Moreover, pixel-level preservation, though necessary for editing, unnecessarily restricts the effective modification space for refinement. To address these limitations, we propose Refinement via Regeneration (RvR), a novel framework that reformulates refinement as conditional image regeneration rather than editing. Instead of relying on editing instructions and enforcing strict content preservation, RvR regenerates images conditioned on the target prompt and the semantic tokens of the initial image, enabling more complete semantic alignment with a larger modification space. Extensive experiments demonstrate the effectiveness of RvR, improving Geneval from 0.78 to 0.91, DPGBench from 84.02 to 87.21, and UniGenBench++ from 61.53 to 77.41.

Analysis:

作为计算机视觉领域的专家，我针对这篇名为《Refinement via Regeneration: Enlarging Modification Space Boosts Image Refinement in Unified Multimodal Models》的论文分析如下：

该论文针对统一多模态模型（UMM）的图像优化问题，提出了一种名为“重生成优化（RvR）”的新范式，取代了传统的“编辑式优化（RvE）”。通过将优化过程重新定义为受控的条件重生成，该方法突破了传统编辑方法在修改空间上的限制，显著提升了生成图像与提示词之间的语义对齐度。

• 范式转换（RvE → RvR）： 传统方法（RvE）受限于“编辑”思维，即在保留原图像素的基础上进行微调，这往往导致对错误描述的修正不够彻底。RvR 将其重新定义为条件重生成，不再强制要求像素级的一致性。
• 语义令牌引导（Semantic Tokens as Guidance）： RvR 通过引入初始图像的“语义令牌”作为引导，平衡了重生成过程中的一致性与灵活性。它不再局限于编辑指令（Editing Instructions），而是利用原始图像的高层语义信息来指导全新的生成过程。
• 扩大修改空间： 通过解耦原图对像素的强约束，RvR 允许模型在更广泛的修改空间内进行逻辑推理和重构，从而能更彻底地修正复杂的空间错位或多属性不一致问题。

• 重塑图像优化流程： 这一研究挑战了“图像优化必须基于原图编辑”的共识，展示了“全局重构”在特定任务中优于“局部修改”的可能性。
• 提升评价指标天花板： 在 Geneval、DPGBench 等主流评测集上获得的大幅性能提升，验证了该方法在处理多模态模型幻觉（Hallucinations）和复杂语义对齐方面的强大潜力。
• 推动统一架构的发展： 为统一多模态模型（UMMs）的自我进化和迭代提供了新的技术路径，即模型可以通过“自我生成-自我评估-重生成”的闭环实现性能优化。

• AI 辅助创作： 在文生图（T2I）创作中，设计师可以通过该方法对生成的草稿进行深度语义修正，而不必手动修图。
• 图像编辑工具： 智能修图插件、AI 绘图软件的“重绘（Inpainting/Refinement）”模块将获得更高质量的语义保真度。
• 多模态闭环系统： 需要高精度对齐的自动化数据标注、合成数据生成流程（Synthetic Data Generation）将从中受益，从而生成更高质量的数据集。

• 一致性保持的挑战： 虽然扩大了修改空间，但若控制不当，可能会导致原图中用户希望保留的关键特征（如特定的人物身份或复杂的构图细节）在重生成过程中丢失。
• 计算资源开销： 相比于局部编辑（只需生成小块区域或微调权重），“重生成”过程可能需要更多的推理步骤或更重的模型负载，在大规模部署时的实时性可能是一个挑战。
• 对语义令牌质量的依赖： RvR 的核心在于语义令牌（Semantic Tokens）的提取能力，如果初始图像的语义表征提取不准确，可能导致重生成方向完全偏离，产生“灾难性遗忘”。

总结： 这篇论文的趣味性在于它采用了“以退为进”的策略：通过放弃对像素级一致性的执着，反而获得了更好的语义对齐效果。这对于当前追求高精度文生图一致性的多模态领域是一个非常具有启发性的设计思路。

Key Findings:

• To address these limitations, we propose Refinement via Regeneration (RvR), a novel framework that reformulates refinement as conditional image regeneration rather than editing.

Links:

• PDF
• arXiv

---

Authors: Jialong Wu, Yihan Wang, Matthias Rottmann

Published: 2026-04-28

Categories: cs.CV

Abstract:

In autonomous driving, camera-radar fusion offers complementary sensing and low deployment cost. Existing methods perform fusion through input mixing, feature map mixing, or query-based feature sampling. We propose a new fusion paradigm, termed heterogeneous query interaction, and present ConFusion, a camera-radar 3D object detector. ConFusion combines image queries, radar queries, and learnable world queries distributed in 3D space to improve query initialization and object coverage. To encourage cross-type interaction among heterogeneous queries, we introduce heterogeneous query mixing (QMix), which performs dedicated cross-type attention after feature sampling to consolidate complementary object evidence. We further propose interactive query swap sampling (QSwap), which improves feature sampling by allowing related queries to exchange informative feature tokens under attention and geometric constraints. Experiments on the nuScenes dataset show that ConFusion achieves state-of-the-art performance, reaching 59.1 mAP and 65.6 NDS on the validation set, and 61.6 mAP and 67.9 NDS on the test set.

Analysis:

在自动驾驶中，相机-雷达融合具有互补感知和低部署成本的优势。现有方法主要通过输入层混和、特征图混和或基于查询的特征采样来实现融合。我们提出了一种新的融合范式，称为“异构查询交互”（Heterogeneous Query Interaction），并据此设计了相机-雷达3D目标检测器 ConFusion。ConFusion 结合了图像查询、雷达查询和分布在3D空间中的可学习世界查询，以优化查询初始化和目标覆盖。为促进不同类型查询间的跨类型交互，我们引入了异构查询混和（QMix），它在特征采样后执行专门的跨类型注意力机制，以整合互补的目标证据。此外，我们提出了交互式查询交换采样（QSwap），允许相关查询在注意力与几何约束下交换信息特征，从而改善特征采样质量。在nuScenes数据集上的实验表明，ConFusion达到了最先进的性能，验证集达到59.1 mAP和65.6 NDS，测试集达到61.6 mAP和67.9 NDS。

• 驱动力：相机（高语义）与雷达（鲁棒性/速度测量）具有高度的测量空间和表征异构性，现有的“融合”往往只停留在特征级拼接，忽略了查询（Query）层面的深度交互。
• 现有方法痛点：基于查询的检测器（如DETR-like）通常使用单一类型的查询，即便引入异构查询（如图像+随机点），由于共享自注意力机制存在“同类偏见（Same-type bias）”，导致跨模态信息交换非常有限且隐性。
• 研究假设：通过显式地强制异构查询（不同初始化源）在特征聚合后进行跨类型交互，可以利用多源初始化的冗余性，显著增强对目标的一致性感知。

• 流程总结：
  1. 异构查询初始化：从图像（2D预测）、雷达（热图峰值）和世界（可学习的3D空间圆环分布）初始化三类查询，各配备类型嵌入（Type Emb）。
  2. 特征采样与聚合：利用可变形注意力（Deformable Attention）从多视角图像和雷达BEV特征图中采样。
  3. QSwap（交互式查询交换采样）：在采样阶段，基于注意力权重和BEV距离约束，允许查询从邻近相关查询中借用高分特征Token，增强单点采样质量。
  4. QMix（异构查询混和）：在特征聚合后，插入掩码多头注意力层，强制屏蔽同类查询间的交互，迫使查询仅能关注异构查询，从而实现深度跨模态证据整合。
• 算法解释：QMix的核心公式 $M_{ij}$ 通过对同类型查询对设置 $-\infty$ 的掩码，直接打破了同类偏见，使模型必须寻找“异构伙伴”来补充缺失的模态信息。

• 本质区别：从传统的“隐式融合”（通过Attention自然混合）转变为“显式交互”（通过结构化掩码强行交互）。
• 创新贡献：QMix模块解决了异构查询下的同类偏见问题；QSwap在采样阶段实现了动态的Token级共享。
• 适用场景：适用于任何多源Query（多模态或多先验）的检测任务。

• 验证方法：在nuScenes数据集上与多类SOTA（如RaCFormer, SpaRC）进行对比。
• 关键结果：在相同训练轮次下，ConFusion在nuScenes val集上比强基线提升了1.8 mAP/NDS，验证了显式交互的有效性。
• 主要优势：显著增强了目标定位（mATE下降）和方向估计（mAOE下降）。
• 主要局限：模型引入了更复杂的注意力交互机制，在超大Query数量下可能增加计算负载。

• 实现细节：
  • QMix掩码：这是核心，确保同类查询无法互相Attention。
  • QSwap半径：设置 $r_i = \alpha \cdot \sqrt{w_i^2 + l_i^2}$，即自适应几何约束是关键。
• 迁移可能：可直接迁移至多摄像头-激光雷达融合系统，只需修改适配器和初始化策略。

• 核心思想：通过强制异构查询打破同类偏见，实现多模态证据的显式深度交互。
• 速记版pipeline：
  1. 从图像、雷达、空间分布初始化三类查询；
  2. 在采样采样阶段通过QSwap让临近查询交换关键信息；
  3. 在聚合后通过QMix强行屏蔽同类交互，促进跨模态融合。

Key Findings:

• We propose a new fusion paradigm, termed heterogeneous query interaction, and present ConFusion, a camera-radar 3D object detector.
• To encourage cross-type interaction among heterogeneous queries, we introduce heterogeneous query mixing (QMix), which performs dedicated cross-type attention after feature sampling to consolidate complementary object evidence.
• Experiments on the nuScenes dataset show that ConFusion achieves state-of-the-art performance, reaching 59.1 mAP and 65.6 NDS on the validation set, and 61.6 mAP and 67.9 NDS on the test set.

Links:

• PDF
• arXiv

---

Authors: Muhammad Ali, Kevin Alexander Laube, Madan Ravi Ganesh, Lukas Schott, Niclas Popp, Thomas Brox

Published: 2026-04-28

Categories: cs.CV, cs.AI

Abstract:

Recent knowledge distillation (KD) methods for semantic segmentation introduce increasingly complex hand-crafted objectives, yet are typically evaluated under fixed iteration schedules. These objectives substantially increase per-iteration cost, meaning equal iteration counts do not correspond to equal training budgets. It is therefore unclear whether reported gains reflect stronger distillation signals or simply greater compute. We show that iteration-based comparisons are misleading: when wall-clock compute is matched, \textit{canonical} logit- and feature-based KD outperform recent segmentation-specific methods. Under extended training, feature-based distillation achieves state-of-the-art ResNet-18 performance on Cityscapes and ADE20K. A PSPNet ResNet-18 student closely approaches its ResNet-101 teacher despite using only one quarter of the parameters, reaching 99% of the teacher's mIoU on Cityscapes (79.0 vs.\ 79.8) and 92% on ADE20K. Our results challenge the prevailing assumption that KD for segmentation requires task-specific mechanisms and suggest that scaling, rather than complex hand-crafted objectives, should guide future method design.

Analysis:

现有的语义分割知识蒸馏（KD）方法倾向于引入复杂的手工设计目标，但通常在固定的迭代次数下进行评估。由于这些复杂目标显著增加了每次迭代的计算成本，相同的迭代次数并不代表相同的训练预算。因此，目前尚不清楚性能的提升究竟源于更强的蒸馏信号，还是仅仅源于更多的计算投入。本文证明了基于迭代次数的比较具有误导性：当匹配挂钟计算时间（wall-clock compute）时，简单的“规范”逻辑值蒸馏和特征蒸馏方法优于近期的特定任务蒸馏方法。在延长训练时间的情况下，特征蒸馏在Cityscapes和ADE20K数据集上实现了ResNet-18的SOTA性能。本文的研究结果挑战了“语义分割需要特定任务蒸馏机制”的普遍假设，并指出规模化（Scaling）而非复杂的手工目标，应成为未来方法设计的指导原则。

---

• 驱动力：作者试图从“计算公平性”和“长周期训练”的视角，重新审视语义分割中知识蒸馏的必要性。
• 现有方法痛点：现有方法为了追求精细的特征匹配或结构对齐，引入了额外的内存结构或辅助计算，使得“迭代次数”作为评估基准变得失效。这些方法往往在短训练周期下“过拟合”，掩盖了简单方法的潜力。
• 研究假设：语义分割任务中的密集预测提供了极强的监督信号，简单的规范化KD方法（Logit/Feature KD）只要经过充分的规模化训练（Scale），足以达到甚至超越复杂的手工任务方法。

---

• 逻辑核心：作者并未提出一种新的复杂目标，而是通过**Compute-Aware（计算感知）**的训练策略，将“规范化方法”（Canonical Methods）推向极限。
• 方法Pipeline：
  1. 输入：教师模型（如PSPNet-R101）的输出 logits 和中间层特征。
  2. 损失函数：
     • Logit-based KD：通过KL散度计算温度缩放后的软化分布差异，公式：$\mathcal{L}_{\text{KD}} = \frac{T^2}{HW} \sum \sum p^T \log (p^T/p^S)$。
     • Feature-based KD：通过 $1 \times 1$ 卷积投影层将学生特征映射到教师通道维度，计算均方误差（MSE）。
     • 整体目标：$\mathcal{L}{\text{total}} = \mathcal{L}{\text{CE}} + \alpha\mathcal{L}{\text{KD}} + \beta\mathcal{L}{\text{feat}}$。
  3. 规模化策略：使用更强的增强（如光度畸变）、余弦退火调度器（Cosine Annealing）、以及基于计算预算的超参数调优，突破短周期训练的限制。

---

• 本质区别：从关注“复杂的正则化目标”转向关注“公平的计算预算对比”和“长训练窗口”。
• 创新贡献：指出了语义分割KD中普遍存在的“评估陷阱”；证明了在计算匹配的前提下，简单的Canonical KD在收敛性、性能上限和鲁棒性上均优于专门的任务设计。
• 适用场景：
  • 架构对齐：特征蒸馏表现最佳。
  • 架构差异大/半监督：Logit蒸馏因其对分布偏移的鲁棒性更胜一筹。

---

• 验证方法：在Cityscapes/ADE20K数据集上，对比了CIRKD、BPKD等SOTA方法，并匹配了GPU-hours作为训练预算。
• 关键结果：在计算匹配时，简单方法比CIRKD高出约2个mIoU；延长训练后，ResNet-18学生模型达到其PSPNet-R101教师模型的99%性能。
• 优势：训练高效，实现简单，性能上限高，不需复杂的辅助网络。
• 局限：未在大规模异构架构（如Transformer）上全面验证。

---

• 开源情况：部分方法复现自[9]的实现，建议遵循论文的Long-Horizon协议（Cosine LR, 强增强）。
• 实现细节：对于特征蒸馏，$\beta=6$ 是一个稳健的起点；温度系数 $T$ 在语义分割中推荐 $[1, 4]$ 之间（相比分类任务更小）。
• 迁移可能：该策略极易迁移至其他 dense prediction 任务（如目标检测、深度估计），核心在于“不要追求复杂目标，而要追求计算公平下的充分收敛”。

---

• 核心思想：语义分割蒸馏的本质是规模化，简单方法足矣。
• 速记版pipeline：
  1. 确定计算预算（GPU小时）。
  2. 应用标准特征映射与逻辑值蒸馏。
  3. 使用强正则化（光度畸变、余弦调度）。
  4. 通过长周期训练充分逼近教师性能。

Key Findings:

• We show that iteration-based comparisons are misleading: when wall-clock compute is matched, \textit{canonical} logit- and feature-based KD outperform recent segmentation-specific methods.
• Under extended training, feature-based distillation achieves state-of-the-art ResNet-18 performance on Cityscapes and ADE20K.

Links:

• PDF
• arXiv

---

Authors: Hanqing Yang, Qiang Zhou, Yongchao Du, Sashuai Zhou, Zhibin Wang, Jun Song, Tiezheng Ge, Cheng Yu, Bo Zheng

Published: 2026-04-28

Categories: cs.CV, cs.AI

Abstract:

Recent image editing models have achieved strong visual fidelity but often struggle with tasks requiring complex reasoning. To investigate and enhance the reasoning-grounded planning for image editing, we propose DDA-Thinker, a Thinker-centric framework designed for the independent optimization of a planning module (Thinker) over a fixed generative model (Editor). This decoupled Thinker-centric paradigm facilitates a controlled analysis of the planning module and makes its contribution under a fixed Editor easier to assess. To effectively guide this Thinker, we introduce a dual-atomic reinforcement learning framework. This framework decomposes feedback into two distinct atomic rewards implemented through verifiable checklists: a cognitive-atomic reward to directly assess the quality of the Thinker's executable plan, which serves as the actionable outcome of the Thinker's reasoning, and a visual-atomic reward to assess the final image quality. To improve checklist quality, our checklist synthesis is grounded not only in the source image and user instruction but also in a rational reference description of the ideal post-edit scene. To support this training, we further develop a two-stage data curation pipeline that first synthesizes a diverse and reasoning-focused dataset, then applies difficulty-aware refinement to curate an effective training curriculum for reinforcement learning. Extensive experiments on reasoning-driven image editing benchmarks, including RISE-Bench and KRIS-Bench, demonstrate that our approach substantially improves overall performance. Our method enables a community model to achieve results competitive with strong proprietary models, highlighting the practical potential of Thinker-centric optimization under a fixed-editor setting.

Analysis:

近期图像编辑模型在视觉保真度上取得了显著进步，但在处理复杂推理任务时往往表现不佳。为研究并增强图像编辑中的推理引导规划能力，我们提出了 DDA-Thinker。这是一个以“思考者”（Thinker）为中心的框架，旨在独立优化规划模块，同时保持生成模型（Editor）固定不变。这种解耦的范式便于对规划模块进行受控分析，并使其在固定编辑器下的贡献更易于评估。为有效引导该思考者，我们引入了双原子强化学习框架。该框架将反馈分解为两个通过可验证核对表（Checklist）实现的原子奖励：一个是评估思考者可执行计划质量的“认知原子奖励”，另一个是评估最终图像质量的“视觉原子奖励”。为提升核对表质量，我们的合成过程不仅基于原始图像和用户指令，还基于理想编辑场景的理性参考描述。大量在 RISE-Bench 和 KRIS-Bench 上的实验证明，我们的方法显著提升了整体性能，使社区模型在固定编辑器设定下达到了与顶尖专有模型竞争的水平。

• 驱动力：解决图像编辑中“推理与执行”耦合带来的错误归因问题，探索在固定生成模型下，单纯提升“规划”能力能带来多大上限的提升。
• 现有痛点：
  • 错误归因模糊：联合训练导致难以区分是规划错误还是编辑器生成失败。
  • 认知盲点：仅依赖视觉奖励（Visual-only）会产生“认知盲点”，即视觉合理的图像可能源于逻辑错误的规划，导致模型优化方向偏差。
• 核心假设：一个足够强大的规划器（Thinker）即便面对固定不变的生成模型，也能通过高质量的、逻辑严密的可执行计划，引导编辑器实现更好的视觉输出。

• Pipeline：
  1. 数据构建（两阶段）：首先通过LLM依据分类标准生成包含“理性参考描述”的数据三元组，并由T2I模型合成图像；随后进行“难度感知过滤”，剔除过简单或过难的样本。
  2. SFT初始化：训练思考者将指令转化为结构化的 <think>...</think><answer>...</answer> 格式，其中 <answer> 包含直接可执行的逻辑计划。
  3. 双原子强化学习（RFT）：
     • 双核对表设计：基于原始图像、指令和参考描述，构建“认知原子核对表”（评估意图、逻辑、可执行性）和“视觉原子核对表”（评估指令跟随、一致性、去幻觉）。
     • 分离奖励流：不将两种奖励加权求和，而是通过独立的 Rollout 组分别进行 GRPO 优化，避免不同奖励间的梯度干扰和方差掩盖。
• 关键公式意义：$r_{cognitive} = \frac{1}{N} \sum R(x, u, a, q_{j}^{cognitive})$，强制规划器不仅要“生成图像”，更要生成符合逻辑、语义完整且可被编辑器执行的动作序列，是典型的“先思考后执行”逻辑。

• 本质区别：从“联合优化”转变为“解耦优化”。将编辑器冻结，专门打磨规划器。
• 创新贡献：
  • 双原子奖励机制：将模糊的整体质量评分拆解为细粒度的二进制校验项。
  • 理性参考接地：核对表生成不再孤立，而是锚定在“理想参考描述”上，大幅降低了奖励噪声。
• 适用场景：需要复杂逻辑推理的特定领域图像编辑，如因果推理、物理规律模拟、数学逻辑推导。

• 关键结果：DDA-Thinker 显著提升了基础编辑器的推理能力（RISE-Bench Overall Acc. 提升巨大），在保持单阶段推理的前提下，性能超越了许多多轮迭代的复杂模型。
• 优势：可解释性强（有思考路径）、可迁移性高（冻结编辑器可直接换用）、错误归因清晰。
• 局限：性能上限受限于固定编辑器（Editor）的硬执行能力，部分极高难度逻辑任务若编辑器无法渲染则无效。

• 迁移迁移：核心思想在于将“规划器”与“执行器”解耦。如果你的任务中“先规划”的代价小于“端到端学习”，则可以将该方法迁移，通过定义特定的原子核对表（Checklist）作为RL的奖惩信号。
• 关键细节：
  • GRPO的独立分组：这是避免权重调参灾难的关键，务必保持双流独立。
  • 难度过滤：不要试图让模型学习所有样本，通过评分过滤掉极端噪声样本是RFT阶段效率提升的关键。

• 核心思想：通过双原子解耦反馈，让思考者学会生成“对编辑器友好的逻辑计划”。
• 速记pipeline：
  1. 用LLM合成包含参考文本的复杂逻辑数据集。
  2. 对规划器进行监督微调（SFT）。
  3. 引入认知和视觉两类核对表奖励。
  4. 通过分组强化学习（GRPO）独立优化规划器。

Key Findings:

• To investigate and enhance the reasoning-grounded planning for image editing, we propose DDA-Thinker, a Thinker-centric framework designed for the independent optimization of a planning module (Thinker) over a fixed generative model (Editor).
• This decoupled Thinker-centric paradigm facilitates a controlled analysis of the planning module and makes its contribution under a fixed Editor easier to assess.
• To effectively guide this Thinker, we introduce a dual-atomic reinforcement learning framework.
• Extensive experiments on reasoning-driven image editing benchmarks, including RISE-Bench and KRIS-Bench, demonstrate that our approach substantially improves overall performance.
• Our method enables a community model to achieve results competitive with strong proprietary models, highlighting the practical potential of Thinker-centric optimization under a fixed-editor setting.

Links:

• PDF
• arXiv

---

Authors: Yufei Jia, Heng Zhang, Ziheng Zhang, Junzhe Wu, Mingrui Yu, Zifan Wang, Dixuan Jiang, Zheng Li, Chenyu Cao, Zhuoyuan Yu, Xun Yang, Haizhou Ge, Yuchi Zhang, Jiayuan Zhang, Zhenbiao Huang, Tianle Liu, Shenyu Chen, Jiacheng Wang, Bin Xie, Xuran Yao, Xiwa Deng, Guangyu Wang, Jinzhi Zhang, Lei Hao, Zhixing Chen, Yuxiang Chen, Anqi Wang, Hongyun Tian, Yiyi Yan, Zhanxiang Cao, Yizhou Jiang, Hanyang Shao, Yue Li, Lu Shi, Bokui Chen, Wei Sui, Hanqing Cui, Yusen Qin, Ruqi Huang, Lei Han, Tiancai Wang, Guyue Zhou

Published: 2026-04-28

Categories: cs.RO

Abstract:

Embodied AI research is undergoing a shift toward vision-centric perceptual paradigms. While massively parallel simulators have catalyzed breakthroughs in proprioception-based locomotion, their potential remains largely untapped for vision-informed tasks due to the prohibitive computational overhead of large-scale photorealistic rendering. Furthermore, the creation of simulation-ready 3D assets heavily relies on labor-intensive manual modeling, while the significant sim-to-real physical gap hinders the transfer of contact-rich manipulation policies. To address these bottlenecks, we propose GS-Playground, a multi-modal simulation framework designed to accelerate end-to-end perceptual learning. We develop a novel high-performance parallel physics engine, specifically designed to integrate with a batch 3D Gaussian Splatting (3DGS) rendering pipeline to ensure high-fidelity synchronization. Our system achieves a breakthrough throughput of 10^4 FPS at 640x480 resolution, significantly lowering the barrier for large-scale visual RL. Additionally, we introduce an automated Real2Sim workflow that reconstructs photorealistic, physically consistent, and memory-efficient environments, streamlining the generation of complex simulation-ready scenes. Extensive experiments on locomotion, navigation, and manipulation demonstrate that GS-Playground effectively bridges the perceptual and physical gaps across diverse embodied tasks. Project homepage: https://gsplayground.github.io.

Analysis:

具身智能研究正向以视觉为中心的感知范式转变。虽然大规模并行模拟器推动了基于本体感觉的运动控制突破，但由于高分辨率、高真实感渲染的计算开销过大，其在视觉信息任务中的潜力尚未得到充分挖掘。此外，制作仿真就绪的3D资产往往依赖于劳动密集型的人工建模，而显著的“仿真-现实”物理差距阻碍了接触丰富型操作策略的迁移。为解决这些瓶颈，我们提出了GS-Playground，这是一个旨在加速端到端感知学习的多模态仿真框架。我们开发了一种专门为集成批量3D高斯溅射（3DGS）渲染流水线而设计的高性能并行物理引擎，以确保高保真同步。我们的系统在640×480分辨率下实现了10⁴ FPS的突破性吞吐量，显著降低了大规模视觉强化学习的门槛。此外，我们引入了自动化的Real2Sim工作流，用于重建具有高度真实感、物理一致性且内存高效的环境，简化了复杂仿真场景的生成。在运动、导航和操作方面的广泛实验证明，GS-Playground有效弥合了不同具身任务中的感知和物理鸿沟。

• 驱动力：作者旨在解决视觉智能体训练中“渲染吞吐量”与“物理高保真度”之间的不可调和矛盾，实现大规模视觉强化学习的高效训练。
• 痛点：现有方法面临两大瓶颈：1. 渲染开销导致显存溢出（OOM）或训练速度慢；2. “仿真-现实”物理间隙大，且人工制作复杂仿真资产成本极高。
• 研究假设：通过将3D高斯溅射（3DGS）与高效并行物理引擎深度耦合，并引入自动化Real2Sim资产生成流程，可以在有限的计算资源下实现高保真度、高吞吐的具身智能训练。

• 流程总结：
  1. 资产生成（Real2Sim）：利用Grounding DINO与SAM 1/2对真实图像进行分割与补全，结合AnySplat重建3DGS资产，利用Speedy-Splat进行剪枝压缩，将真实世界转化为仿真就绪的数字孪生。
  2. 物理仿真（Physics Core）：采用 velocity-impulse 动力学方程，引入“约束岛（Constraint Islands）”技术将交互体分区，实现多核并行求解；使用“时序相干性（Temporal Coherence）”进行预热求解，加速收敛。
  3. 渲染同步（RLGK）：提出Rigid-Link Gaussian Kinematics（RLGK），将3DGS原子固定于刚体模型上，实现随物理引擎状态更新的“零开销”渲染。
• 关键公式：其动力学基于 velocity-impulse 公式，通过 Schur 补法将复杂接触问题转化为 inequality constraints 的线性系统，在满足 Coulomb 摩擦模型的前提下确保了稳态物理模拟。

• 本质区别：与Isaac Gym等传统图形渲染不同，该方法利用3DGS作为场景表示，渲染速度远超传统光栅化或光追，且物理引擎在接触处理（如Newton's Cradle实验）上表现更稳健。
• 创新点：
  1. RLGK技术：通过将高维 visual representation 绑定至低维物理刚体，避免了每一帧重复进行大规模图形计算。
  2. 针对性的剪枝策略：压缩90%的高斯点而不降低PSNR，极大缓解了显存压力。

• 验证方法：对比MuJoCo, IsaacSim等主流模拟器，进行接触稳定性（Shaking Test）、性能缩放（Scaling）及Sim2Real迁移实验。
• 关键结论：在复杂交互场景下，GS-Playground比主流框架快约32倍至600倍；在现实部署中，保持了90%的成功率，证实了高真实感模拟带来的泛化优势。
• 局限性：目前主要针对刚体，对于布料、流体等软体变形场景支持有限；资产生成受限于源图像光照，缺乏解耦的光照重塑能力。

• 开源情况：已开源（项目主页：https://gsplayground.github.io）。
• 实现细节：在资产生成阶段，需注意SAM分割的准确性；在大规模RL训练中，需平衡渲染吞吐量与物理积分步长（Decimation Factor）。
• 迁移建议：可直接通过MJCF格式导入现有机器人模型，适用于需要视觉感知的复杂操作任务。

• 核心思想：通过3D高斯溅射与刚体运动学的绑定，实现高保真物理与视觉的极致同步。
• 速记版Pipeline：
  1. 图片输入，利用SAM与AnySplat生成资产；
  2. 物理引擎分区并行计算交互力；
  3. 通过RLGK将刚体姿态实时映射至高斯场景；
  4. 渲染高质量RGB观测输入视觉策略。

Key Findings:

• To address these bottlenecks, we propose GS-Playground, a multi-modal simulation framework designed to accelerate end-to-end perceptual learning.
• We develop a novel high-performance parallel physics engine, specifically designed to integrate with a batch 3D Gaussian Splatting (3DGS) rendering pipeline to ensure high-fidelity synchronization.
• Additionally, we introduce an automated Real2Sim workflow that reconstructs photorealistic, physically consistent, and memory-efficient environments, streamlining the generation of complex simulation-ready scenes.

Links:

• PDF
• arXiv

---