以下是为您准备的每日报告执行摘要，涵盖2026年5月12日发布的10篇Arxiv计算机视觉论文。

---

日期： 2026年5月12日 报告人： 计算机视觉研究助理

本日论文主要围绕三大主题展开：

• 多模态理解与生成的统一： 多篇论文（如 #1, #3, #4, #7）致力于打破视觉与语言、理解与生成之间的壁垒，构建更通用、更智能的多模态模型。这反映了当前领域从“看懂”向“看懂并实现”的范式转变。
• 3D感知与交互的精细化： 从手部姿态估计（#2）、表面重建（#5）到人形机器人全身遥操作（#9），研究聚焦于提升对三维世界的感知精度与实时性，为具身智能奠定基础。
• 模型效率与可扩展性： 针对Vision Transformer（#6）和视觉-语言模型（#10）的计算开销，研究者提出了新的注意力机制和提示优化方法，旨在降低推理成本，提升模型在实际部署中的实用性。

• 最具突破性：#1 “SenseNova-U1”。该论文提出了NEO-unify架构，旨在统一多模态理解与生成。这代表了当前最前沿的研究方向，可能对构建下一代通用视觉基础模型产生深远影响。若其方法有效，将是里程碑式的工作。
• 最具应用价值：#9 “Real-Time Whole-Body Teleoperation”。该工作实现了基于IMU的人形机器人全身实时遥操作，并进行了Sim2Sim和Sim2Real验证。这直接指向了具身智能中的关键控制问题，对机器人遥操作和自动化领域具有显著的实际意义。
• 方向独特且扎实：#5 “Revisiting Photometric Ambiguity”。在3D高斯泼溅（Gaussian Splatting）成为热点的背景下，该论文回归基础，深入探讨光度歧义性对于表面重建精度的影响。这种对核心问题的深入分析，对于提升该领域的理论基础至关重要。

• 自回归多模态生成+可验证奖励： #4 “AlphaGRPO” 探索通过分解式可验证奖励来解锁多模态模型（UMMs）的自我反思生成能力。这借鉴了强化学习中的奖励机制，有望推动多模态生成模型实现更可控、更高质量的生成。
• 细粒度视觉推理对齐： #7 “Fill the GAP” 提出了“粒度对齐范型”，旨在解决多模态大语言模型（MLLMs）在视觉推理中细节不足的问题。这预示着未来研究将从粗粒度的图文匹配转向更精细、更具逻辑性的视觉-语言对齐。
• 任务引导的视觉-语言-动作（VLA）模型： #8 “GuidedVLA” 引入“即插即用动作注意专业化”模块，让VLA模型能关注任务相关因素。这为构建更安全、更可控的具身智能体提供了新的思路，即通过“提示”而非重新训练来调整模型行为。

• 强烈推荐（必读）： #1 “SenseNova-U1” （理解与生成统一的范式创新）。如果您从事多模态或基础模型研究，这篇是本周最重要的工作。
• 强烈推荐（必读）： #5 “Revisiting Photometric Ambiguity” （3D高斯泼溅领域的基准性分析）。如果您从事3D视觉、新视角合成或图形学，这篇对深入理解该方法至关重要。
• 推荐阅读（高价值）：
  • #6 “Elastic Attention Cores” （ViT模型的可扩展性优化）。对模型压缩、部署或高效ViT架构感兴趣的研究者应仔细阅读。
  • #9 “Real-Time Whole-Body Teleoperation” （具身智能的实际应用落地）。如果您关注机器人学、遥操作或Sim2Real，本文提供了完整的解决方案。
  • #4 “AlphaGRPO” （多模态生成的新训练范式）。如果您在探索多模态生成或VLM的自我改进能力，本文具有启发性。

---

总评： 本日论文集中反映了计算机视觉领域正加速迈向“通用多模态智能”与“精细3D交互”的双轨发展。#1号论文所代表的统一框架，以及**#5号论文**对核心问题的回归，是本周最值得关注的进展。

---

1. SenseNova-U1: Unifying Multimodal Understanding and Generation with NEO-unify Architecture
2. EgoForce: Forearm-Guided Camera-Space 3D Hand Pose from a Monocular Egocentric Camera
3. From Web to Pixels: Bringing Agentic Search into Visual Perception
4. AlphaGRPO: Unlocking Self-Reflective Multimodal Generation in UMMs via Decompositional Verifiable Reward
5. Revisiting Photometric Ambiguity for Accurate Gaussian-Splatting Surface Reconstruction
6. Elastic Attention Cores for Scalable Vision Transformers
7. Fill the GAP: A Granular Alignment Paradigm for Visual Reasoning in Multimodal Large Language Models
8. GuidedVLA: Specifying Task-Relevant Factors via Plug-and-Play Action Attention Specialization
9. Real-Time Whole-Body Teleoperation of a Humanoid Robot Using IMU-Based Motion Capture with Sim2Sim and Sim2Real Validation
10. VIP: Visual-guided Prompt Evolution for Efficient Dense Vision-Language Inference

---

Authors: Haiwen Diao, Penghao Wu, Hanming Deng, Jiahao Wang, Shihao Bai, Silei Wu, Weichen Fan, Wenjie Ye, Wenwen Tong, Xiangyu Fan, Yan Li, Yubo Wang, Zhijie Cao, Zhiqian Lin, Zhitao Yang, Zhongang Cai, Yuwei Niu, Yue Zhu, Bo Liu, Chengguang Lv, Haojia Yu, Haozhe Xie, Hongli Wang, Jianan Fan, Jiaqi Li, Jiefan Lu, Jingcheng Ni, Junxiang Xu, Kaihuan Liang, Lianqiang Shi, Linjun Dai, Linyan Wang, Oscar Qian, Peng Gao, Pengfei Liu, Qingping Sun, Rui Shen, Ruisi Wang, Shengnan Ma, Shuang Yang, Siyi Xie, Siying Li, Tianbo Zhong, Xiangli Kong, Xuanke Shi, Yang Gao, Yongqiang Yao, Yves Wang, Zhengqi Bai, Zhengyu Lin, Zixin Yin, Wenxiu Sun, Ruihao Gong, Quan Wang, Lewei Lu, Lei Yang, Ziwei Liu, Dahua Lin

Published: 2026-05-12

Categories: cs.CV

Abstract:

Recent large vision-language models (VLMs) remain fundamentally constrained by a persistent dichotomy: understanding and generation are treated as distinct problems, leading to fragmented architectures, cascaded pipelines, and misaligned representation spaces. We argue that this divide is not merely an engineering artifact, but a structural limitation that hinders the emergence of native multimodal intelligence. Hence, we introduce SenseNova-U1, a native unified multimodal paradigm built upon NEO-unify, in which understanding and generation evolve as synergistic views of a single underlying process. We launch two native unified variants, SenseNova-U1-8B-MoT and SenseNova-U1-A3B-MoT, built on dense (8B) and mixture-of-experts (30B-A3B) understanding baselines, respectively. Designed from first principles, they rival top-tier understanding-only VLMs across text understanding, vision-language perception, knowledge reasoning, agentic decision-making, and spatial intelligence. Meanwhile, they deliver strong semantic consistency and visual fidelity, excelling in conventional or knowledge-intensive any-to-image (X2I) synthesis, complex text-rich infographic generation, and interleaved vision-language generation, with or without think patterns. Beyond performance, we show detailed model design, data preprocessing, pre-/post-training, and inference strategies to support community research. Last but not least, preliminary evidence demonstrates that our models extend beyond perception and generation, performing strongly in vision-language-action (VLA) and world model (WM) scenarios. This points toward a broader roadmap where models do not translate between modalities, but think and act across them in a native manner. Multimodal AI is no longer about connecting separate systems, but about building a unified one and trusting the necessary capabilities to emerge from within.

Analysis:

作为计算机视觉与机器学习领域的专家，我对 SenseNova-U1 这篇论文的分析如下：

SenseNova-U1 提出了一种名为 NEO-unify 的原生统一多模态架构，旨在打破视觉理解与生成之间长期存在的模型割裂和表示空间不一致问题。该模型通过将理解与生成视为同一底层过程的协同视图，在实现顶尖理解能力的同时，展现出卓越的图像生成与跨模态推理能力，为构建原生多模态智能提供了一个新的范式。

• 架构统一（NEO-unify）： 该研究的核心贡献在于放弃了传统“理解任务+生成任务”的级联架构，转而构建单一模型框架。这种做法让理解和生成不再是两个独立模块，而是同一神经网络参数空间的协同进化，从而解决了模态间表示空间不对齐（Misalignment）的难题。
• 原生统一范式： 论文强调从“第一性原理”设计模型，这意味着它不仅是在做多任务学习，而是在追求多模态表征的“同构化”。
• 混合架构支持： 提供了稠密（8B）与混合专家（MoT, 30B-A3B）两种版本，兼顾了推理效率与模型容量，为不同算力环境提供了部署方案。

• 范式转移： 标志着多模态领域正从“模块拼接（Connecting modules）”向“原生统一（Unified intelligence）”跨越。这可能促使研究者重新评估现有的小型化或专用型视觉模型。
• 统一的认知空间： 证明了同一个模型可以同时胜任复杂的视觉理解（如空间推理、知识问答）和高质量生成（如文字密集型图片生成）。这表明视觉模型在处理语义抽象和像素构建时，能够共享潜在的认知机理。
• 迈向世界模型： 该论文明确提及了在视觉-语言-动作（VLA）和世界模型（WM）场景下的潜力，意味着它不仅是视觉处理工具，更有望成为具身智能（Embodied AI）的核心底座。

• 具身智能与机器人： 该模型在“视觉-语言-动作（VLA）”上的潜力，使其在自主导航、机器人操作等需要跨模态反馈的领域具有极高应用价值。
• 数字创意与设计： 在处理复杂图表、富含文字的infographic生成方面，能够极大地提升设计自动化水平。
• 复杂场景理解与决策： 适用于需要同时进行深度图像分析和长文本规划的行业（如医疗影像分析、自动驾驶策略生成）。

• 架构复杂性带来的训练挑战： 统一架构虽然优雅，但在超大规模数据集上的收敛难度比单一任务模型更大，可能需要极高的数据质量控制。
• 生成与理解的资源权衡： 尽管使用了 MoT（混合专家）架构，但在实现“通用性”的同时，模型在推理延迟和吞吐量上可能仍无法与专门的轻量级视觉模型相比。
• 涌现能力的边界： 虽然论文提到模型具备“原生智能”，但具体在长序列推理、精确空间定位等任务上的边界条件仍需进一步的消融实验来界定。

专家总结： SenseNova-U1 的重要性在于它挑战了当前多模态领域“拼凑式”的研究潮流。如果该研究能证明“理解与生成”确实能通过统一架构获得 1+1>2 的涌现效果，这将极大简化多模态系统的工程实现，并加速通往通用人工智能（AGI）的路径。这篇论文不仅展示了技术指标的提升，更重要的是提出了一种关于“模型如何认知世界”的新哲学。

Key Findings:

• Hence, we introduce SenseNova-U1, a native unified multimodal paradigm built upon NEO-unify, in which understanding and generation evolve as synergistic views of a single underlying process.
• Beyond performance, we show detailed model design, data preprocessing, pre-/post-training, and inference strategies to support community research.

Links:

• PDF
• arXiv

---

Authors: Christen Millerdurai, Shaoxiang Wang, Yaxu Xie, Vladislav Golyanik, Didier Stricker, Alain Pagani

Published: 2026-05-12

Categories: cs.CV, cs.GR

Abstract:

Reconstructing the absolute 3D pose and shape of the hands from the user's viewpoint using a single head-mounted camera is crucial for practical egocentric interaction in AR/VR, telepresence, and hand-centric manipulation tasks, where sensing must remain compact and unobtrusive. While monocular RGB methods have made progress, they remain constrained by depth-scale ambiguity and struggle to generalize across the diverse optical configurations of head-mounted devices. As a result, models typically require extensive training on device-specific datasets, which are costly and laborious to acquire. This paper addresses these challenges by introducing EgoForce, a monocular 3D hand reconstruction framework that recovers robust, absolute 3D hand pose and its position from the user's (camera-space) viewpoint. EgoForce operates across fisheye, perspective, and distorted wide-FOV camera models using a single unified network. Our approach combines a differentiable forearm representation that stabilizes hand pose, a unified arm-hand transformer that predicts both hand and forearm geometry from a single egocentric view, mitigating depth-scale ambiguity, and a ray space closed-form solver that enables absolute 3D pose recovery across diverse head-mounted camera models. Experiments on three egocentric benchmarks show that EgoForce achieves state-of-the-art 3D accuracy, reducing camera-space MPJPE by up to 28% on the HOT3D dataset compared to prior methods and maintaining consistent performance across camera configurations. For more details, visit the project page at https://dfki-av.github.io/EgoForce.

Analysis:

作为计算机视觉和机器学习领域的专家，我对这篇论文《EgoForce: Forearm-Guided Camera-Space 3D Hand Pose from a Monocular Egocentric Camera》的分析如下：

EgoForce 提出了一种单目视觉手部 3D 重建框架，旨在解决头戴式设备中因深度缩放模糊（depth-scale ambiguity）和相机配置多样性导致的精度下降问题。该方法通过引入前臂引导机制和统一的相机模型处理架构，在无需针对特定设备进行昂贵重新训练的情况下，实现了高鲁棒性的绝对 3D 手部姿态与位置恢复，显著提升了在不同视场角（FOV）下的泛化能力。

• 可微前臂表示（Differentiable Forearm Representation）： 这是该研究的亮点，利用前臂的几何约束来“锚定”手部位置，从而有效缓解了纯视觉预测中常见的深度尺度漂移问题。
• 统一的臂-手 Transformer（Unified Arm-Hand Transformer）： 设计了一个能够同时推断手部与前臂几何结构的架构，将局部手部特征与全局手臂姿态关联起来，增强了模型的推理鲁棒性。
• 射线空间闭式求解器（Ray Space Closed-form Solver）： 为了解决不同相机模型（鱼眼、透视、畸变广角）的适配问题，作者引入了基于射线空间的解析求解方法，实现了与相机内参解耦的绝对 3D 姿态重构，这是实现跨设备泛化的关键。

该论文解决了 egocentric（以自我为中心）视觉领域一个长期的痛点：模型的设备依赖性。目前大多数手部追踪算法往往高度依赖于特定相机的内参或特定的训练分布，导致系统在更换 AR/VR 设备后表现骤降。EgoForce 的“统一网络+解析求解”范式为未来开发“即插即用”的通用型手部追踪 SDK 提供了明确的路径，极大降低了工业界部署不同硬件时的开发成本。

• AR/VR 交互系统： 实现更自然的虚拟物体抓取与操作，尤其是对于超广角（鱼眼）头戴式设备。
• 远程呈现与机器人遥操作： 通过准确的 3D 手部重构，将用户的动作实时、精准地映射到远程虚拟化身或机器人末端执行器上。
• 人机协作（HRC）： 在精细化操作任务（如维修、手术辅助）中，通过单目视觉提供稳定的手部位置反馈，而无需昂贵的深度传感器阵列。

• 遮挡处理挑战： 虽然前臂引导能缓解部分问题，但在高度自我遮挡（如手部握拳或遮挡前臂）或外部遮挡场景下，模型的几何推断能力仍可能受限。
• 计算开销： Transformer 架构结合可微求解器，在端侧（On-device）移动设备上的实时性表现如何是一个潜在问题，文中未详细说明其推理延迟。
• 极端光照与复杂背景： 摘要侧重于几何的一致性，但在极低光照或高动态背景下，依赖于视觉特征提取的神经网络依然可能表现不稳定。

专家点评： 这篇论文的价值在于其**“几何约束与深度学习”的有机结合**。它没有盲目堆砌网络深度，而是通过引入手臂物理结构的先验信息来约束神经网络的解空间（Solution Space），这种做法是解决计算机视觉中“病态反问题”（Ill-posed Inverse Problem）的典型且高效的思路。对于追求高鲁棒性和低部署成本的工业界应用而言，该研究极具参考价值。

Key Findings:

• Our approach combines a differentiable forearm representation that stabilizes hand pose, a unified arm-hand transformer that predicts both hand and forearm geometry from a single egocentric view, mitigating depth-scale ambiguity, and a ray space closed-form solver that enables absolute 3D pose recovery across diverse head-mounted camera models.
• Experiments on three egocentric benchmarks show that EgoForce achieves state-of-the-art 3D accuracy, reducing camera-space MPJPE by up to 28% on the HOT3D dataset compared to prior methods and maintaining consistent performance across camera configurations.

Links:

• PDF
• arXiv

---

Authors: Bokang Yang, Xinyi Sun, Kaituo Feng, Xingping Dong, Dongming Wu, Xiangyu Yue

Published: 2026-05-12

Categories: cs.CV

Abstract:

Visual perception connects high-level semantic understanding to pixel-level perception, but most existing settings assume that the decisive evidence for identifying a target is already in the image or frozen model knowledge. We study a more practical yet harder open-world case where a visible object must first be resolved from external facts, recent events, long-tail entities, or multi-hop relations before it can be localized. We formalize this challenge as Perception Deep Research and introduce WebEye, an object-anchored benchmark with verifiable evidence, knowledge-intensive queries, precise box/mask annotations, and three task views: Search-based Grounding, Search-based Segmentation, and Search-based VQA. WebEyes contains 120 images, 473 annotated object instances, 645 unique QA pairs, and 1,927 task samples. We further propose Pixel-Searcher, an agentic search-to-pixel workflow that resolves hidden target identities and binds them to boxes, masks, or grounded answers. Experiments show that Pixel-Searcher achieves the strongest open-source performance across all three task views, while failures mainly arise from evidence acquisition, identity resolution, and visual instance binding.

Analysis:

视觉感知将高层语义理解与像素级感知连接起来，但现有研究大多假设识别目标的判定性证据已存在于图像中或属于冻结模型知识。我们研究了一个更实际且更具挑战性的开放世界案例：在目标可被观测到之前，必须先通过外部事实、近期事件、长尾实体或多跳关系来解析该目标。我们将这一挑战定义为“感知深度研究”（Perception Deep Research），并提出了WebEyes，这是一个包含可验证证据、知识密集型查询、精确标注以及三种任务视图（搜索式定位、搜索式分割和搜索式视觉问答）的基准测试。我们进一步提出了Pixel-Searcher，一个代理式“搜索-到-像素”工作流，通过解析隐藏的目标身份并将其绑定到边界框、掩码或基础答案中。实验表明，Pixel-Searcher在所有三个任务视图中均达到了开源模型中的最强性能，而其失败主要源于证据获取、身份解析和视觉实例绑定。

• 驱动力：打破模型对“图像内直接可见”或“预训练冻结知识”的依赖，解决真实世界感知中常涉及的动态、实时或深度推理信息需求。
• 痛点：传统视觉感知局限于图像内的直接属性对齐，无法处理需要通过外部知识（如特定事件、时效性信息或复杂逻辑关系）才能确立目标身份的场景。
• 研究假设：通过将感知任务转化为“代理搜索-推理-绑定”的闭环流程，可以有效弥合语义知识与像素定位之间的鸿沟，实现开放世界下的高准确度感知。

Pixel-Searcher工作流分为两个核心阶段：

1. 代理搜索与目标解析（Agentic Search & Target Resolution）：
   • 查询规划：将复杂的多跳问题分解为原子级子任务。
   • 搜索-推理循环：利用Google Search API获取外部证据。通过“搜索（SEARCH）-推理（REASON）-解析（RESOLVE）”的自适应循环，不断连接证据链。
   • 目标假设（h）：最终生成结构化假设 $h = {e, c, K}$，其中 $e$ 是实体名，$c$ 是类别，$K$ 是关键视觉检查线索。
2. 代理式接地与工具使用（Agentic Grounding & Tool Use）：
   • 实例绑定：基于假设 $h$，调用接地工具（如定位模型）在图像中提取候选区域。
   • 证据验证：引入“一致性检查”，模型对候选区域与外部证据的匹配度进行评分。
   • 工具辅助精炼：对通过验证的区域，使用SAM3进行像素级掩码精炼，生成最终输出。

• 本质区别：从传统的“单次映射”（Text-to-Box）转向“代理驱动的动态验证”。它不强求一步到位，而是通过外部搜索构建“验证上下文”。
• 创新贡献：提出将感知深度研究这一范式系统化；引入WebEyes基准，强制模型不仅要“认出”目标，还要通过“外部证据”证明该目标的正确性。
• 适用场景：涉及新闻事实、流行文化、时效性强的电商/产品检索、以及需要多步逻辑推理的复杂环境下的视觉目标识别。

• 关键结论：在搜索式定位任务中，Pixel-Searcher将Qwen3-VL-8B的IoU从26.81大幅提升至34.17。
• 局限：模型在“证据获取不充分”或“视觉实例绑定错误”时表现依然脆弱，表明搜索规划的鲁棒性仍是瓶颈。

• 开源情况：已开源，项目地址：https://github.com/yangbokang/Pixel-Searcher。
• 实现细节：该方法核心在于提示工程（Prompt Engineering）中对搜索链的引导。在处理不同模态输入时，需特别注意JSON格式的严格约束。
• 迁移可能：可直接迁移至机器人操作中（识别特定工具）、自动驾驶（理解路标含义）等需要外部实时知识增强的领域。

• 核心思想：通过代理搜索弥补感知缺失，将外部知识转化为像素级定位线索。
• 速记版pipeline：
  1. 分解查询：将复杂问题拆解为可搜索的子问题。
  2. 联网搜索：利用搜索工具获取关联事实与线索。
  3. 推理假设：整理证据并形成明确的目标视觉特征。
  4. 定位与验证：在图像中匹配目标，并用证据核对准确性。
  5. 精炼输出：利用分割工具生成最终的像素级掩码。

Key Findings:

• We further propose Pixel-Searcher, an agentic search-to-pixel workflow that resolves hidden target identities and binds them to boxes, masks, or grounded answers.
• Experiments show that Pixel-Searcher achieves the strongest open-source performance across all three task views, while failures mainly arise from evidence acquisition, identity resolution, and visual instance binding.

Links:

• PDF
• arXiv

---

Authors: Runhui Huang, Jie Wu, Rui Yang, Zhe Liu, Hengshuang Zhao

Published: 2026-05-12

Categories: cs.CV, cs.AI, cs.LG

Abstract:

In this paper, we propose AlphaGRPO, a novel framework that applies Group Relative Policy Optimization (GRPO) to AR-Diffusion Unified Multimodal Models (UMMs) to enhance multimodal generation capabilities without an additional cold-start stage. Our approach unlocks the model's intrinsic potential to perform advanced reasoning tasks: Reasoning Text-to-Image Generation, where the model actively infers implicit user intents, and Self-Reflective Refinement, where it autonomously diagnoses and corrects misalignments in generated outputs. To address the challenge of providing stable supervision for real-world multimodal generation, we introduce the Decompositional Verifiable Reward (DVReward). Unlike holistic scalar rewards, DVReward utilizes an LLM to decompose complex user requests into atomic, verifiable semantic and quality questions, which are then evaluated by a general MLLM to provide reliable and interpretable feedback. Extensive experiments demonstrate that AlphaGRPO yields robust improvements across multimodal generation benchmarks, including GenEval, TIIF-Bench, DPG-Bench and WISE, while also achieving significant gains in editing tasks on GEdit without training on editing tasks. These results validate that our self-reflective reinforcement approach effectively leverages inherent understanding to guide high-fidelity generation. Project page: https://huangrh99.github.io/AlphaGRPO/

Analysis:

本文提出了一种新颖的框架 AlphaGRPO，将组相对策略优化（GRPO）应用于 AR-Diffusion 统一多模态模型（UMMs），在无需额外冷启动阶段的情况下增强其多模态生成能力。该方法激活了模型执行推理文本到图像生成（主动推断用户意图）和自我反射修正（自主诊断并纠正输出中的偏差）的内在潜能。为解决实时生成中的稳定监督难题，我们引入了分解式可验证奖励（DVReward），利用 LLM 将复杂请求分解为原子级、可验证的语义和质量问题，并通过通用 MLLM 提供可靠的反馈。实验表明，AlphaGRPO 在 GenEval、TIIF-Bench 等多个基准测试中均取得了显著提升，并在未进行特定训练的情况下在编辑任务上表现优异。

• 驱动力：利用统一多模态模型（UMM）自身在大规模预训练中获得的潜在推理能力，通过强化学习（RL）实现更通用的生成与修正，而非过度依赖高质量合成数据的冷启动微调。
• 痛点：
  1. 冷启动依赖：现有工作多依赖强化 SFT，导致模型性能依赖于教师模型，而非真正挖掘自身潜力。
  2. 奖励模型缺陷：传统的整体标量奖励（如 VIEScore）具有不可校准性，且区分度差，难以精确引导多模态生成中的细微偏差修正。
• 核心假设：模型在预训练中已习得基础视觉与推理基元，通过针对性的 RL 对话和分解式评估，可以“激活”这些 dormant（休眠）能力。

• Pipeline：
  1. 统一轨迹建模：将生成视为“推理文本（Reasoning） + 扩散图像（Diffusion）”的连续轨迹。
  2. DVReward 机制：
     • 分解（Decomposition）：利用 LLM 将用户输入 $q$ 分解为语义（实体、属性、空间关系）和质量（几何、纹理、保真度）层面的原子级问题。
     • 可验证评估（Verification）：使用 MLLM（Qwen3VL）针对每个问题计算“是/否”的概率比率（Confidence Score），而非直接打分，从而提供精细的梯度。
  3. 强化学习（AlphaGRPO）：在 AR-Diffusion 上应用 GRPO。针对自我反射任务，引入“虚假正例修正（False-Positive Rectification）”，若修正后的图像得分低于初始，则强制赋予最小优势，防止模型退化。
• 关键点：不仅优化视觉生成，还优化作为“认知桥梁”的中间推理文本，实现端到端的协同优化。

• 本质区别：从“黑盒打分”转向“逻辑分解校验”，并直接在统一架构下对认知链条进行强化。
• 创新贡献：
  • DVReward：通过原子化问题将奖励函数“显式化、可解释化”，解决了生成式评估的噪声问题。
  • FPR 机制：有效抑制了强化学习在自我修正任务中的过拟合风险。
• 适用场景：复杂组合指令生成、需要多步推理的文生图任务及零样本图像编辑。

• 验证方法：在 GenEval、TIIF-Bench 等主流数据集上与 SD3、FLUX.1、JanusPro 等先进模型进行对比。
• 关键结论：在不经特定编辑数据训练的前提下，AlphaGRPO 通过“自我反射”机制，在 GEdit 编辑基准上比 BAGEL 基线得分提升 0.52，且在 TIIF-Bench 短提示任务上提升了 4.5%。
• 核心优势：泛化能力强，无需冷启动阶段，对复杂组合约束（如空间关系、计数）的对齐表现极佳。

• 实现细节：建议使用 LoRA 进行高效调优；reward 计算建议采用分布式异步处理，否则 Reward 模型推理延迟会成为训练瓶颈。
• 迁移建议：该方法可直接迁移至任何具备文本输入和扩散/自回归视觉输出能力的统一模型（如 Chameleon、Emu3）。只需替换对应的 Decomposer (LLM) 和 Verifier (MLLM) 即可。

• 核心思想：通过 LLM 分解逻辑约束，利用可微的置信度奖励激活多模态模型的自我修正能力。
• 速记版 Pipeline：
  1. LLM 将复杂请求拆解为一系列原子问题。
  2. 模型生成多条候选轨迹（推理文本+图像）。
  3. Verifier 基于回答问题的置信度计算细粒度奖励。
  4. 利用 GRPO 算法更新模型权重。
  5. 利用虚假正例惩罚机制确保自我修正不发生退化。

Key Findings:

• In this paper, we propose AlphaGRPO, a novel framework that applies Group Relative Policy Optimization (GRPO) to AR-Diffusion Unified Multimodal Models (UMMs) to enhance multimodal generation capabilities without an additional cold-start stage.
• Our approach unlocks the model's intrinsic potential to perform advanced reasoning tasks: Reasoning Text-to-Image Generation, where the model actively infers implicit user intents, and Self-Reflective Refinement, where it autonomously diagnoses and corrects misalignments in generated outputs.
• To address the challenge of providing stable supervision for real-world multimodal generation, we introduce the Decompositional Verifiable Reward (DVReward).

Links:

• PDF
• arXiv

---

Authors: Jiahe Li, Jiawei Zhang, Xiao Bai, Jin Zheng, Xiaohan Yu, Lin Gu, Gim Hee Lee

Published: 2026-05-12

Categories: cs.CV

Abstract:

Surface reconstruction with differentiable rendering has achieved impressive performance in recent years, yet the pervasive photometric ambiguities have strictly bottlenecked existing approaches. This paper presents AmbiSuR, a framework that explores an intrinsic solution upon Gaussian Splatting for the photometric ambiguity-robust surface 3D reconstruction with high performance. Starting by revisiting the foundation, our investigation uncovers two built-in primitive-wise ambiguities in representation, while revealing an intrinsic potential for ambiguity self-indication in Gaussian Splatting. Stemming from these, a photometric disambiguation is first introduced, constraining ill-posed geometry solution for definite surface formation. Then, we propose an ambiguity indication module that unleashes the self-indication potential to identify and further guide correcting underconstrained reconstructions. Extensive experiments demonstrate our superior surface reconstructions compared to existing methods across various challenging scenarios, excelling in broad compatibility. Project: https://fictionarry.github.io/AmbiSuR-Proj/ .

Analysis:

表面重建在微分渲染的推动下取得了显著进展，但普遍存在的**光度歧义（photometric ambiguities）**严重制约了现有方法。本文提出了 AmbiSuR，一种基于高斯泼溅（Gaussian Splatting, 3DGS）的稳健表面重建框架。我们从两个基础视角重新审视了光度歧义：首先，揭示了高斯表示中存在的两种内置原始级歧义，并提出光度去歧义（photometric disambiguation）模块，通过截断投影和物理约束规范了几何形态；其次，发现球谐函数（SH）具有歧义自指示潜力，据此设计了歧义指示模块，利用先验知识定向修复欠约束区域。实验表明，AmbiSuR在多个挑战性场景中均实现了优异的重建精度。

• 驱动力：解决3DGS表面重建中由于光度一致性假设在复杂场景下失效导致的“几何出血”或“过重建”问题。
• 现有痛点：
  • 原始级歧义：高斯原语边缘存在低透明度“长尾”，导致过度重叠，梯度模糊，难以形成确定性表面。
  • 像素级歧义：仅通过聚合颜色一致性监督，导致原语颜色优化处于欠定状态，容易为了拟合复杂光照而出现虚假几何。
• 核心假设：高斯原语的边缘应当被截断，且SH高阶系数能够直接量化该位置的光度歧义程度，作为动态加权几何正则化的依据。

• 高斯泼溅光度去歧义（GS Photometric Disambiguation）：
  • 原语边缘截断：将高斯投影分为核心区（Core）和边缘区（Edge）。通过距离阈值（$\gamma=2$）强制截断边缘，避免大面积模糊原语带来的梯度污染。
  • 光度一致性约束（Ray-Color Consistency）：在光线积分中引入加权方差损失，要求沿同一视线的多个原语颜色必须相似，抑制冗余原语通过复杂混合“伪造”表面。
• 球谐函数（SH）歧义指示模块：
  • 指标构建：利用SH高阶系数（$f_{rest}$）的平方和作为“免费”歧义指示器 $I_{SH}$。数值越高，说明该处视点依赖性越强，光度一致性越差。
  • 双端指示：
    • 上限指示（Upper）：针对 $I_{SH}$ 高值区域，识别不一致约束导致的误差。
    • 下限指示（Lower）：针对 $I_{SH}$ 极低区域，识别因光度监督不足导致的“死区域”。
  • 非晶态局部正则化：利用上述指示构建掩码，通过先验深度和法线对目标区域进行针对性微调，只优化“坏”区域，保护“好”区域。

• 本质区别：不依赖复杂的外部重构网络，而是利用GS自带的SH属性进行原位监控，从表示层面和监督层面双向去歧义。
• 创新点：首次将高斯原语的“长尾”问题通过几何截断进行物理建模，并发现SH系数的能量与重建歧义的相关性。
• 适用场景：适合具有复杂纹理、反射表面或弱光照的室外/室内场景重建。

• 关键结论：在DTU和Tanks & Temples数据集上，AmbiSuR显著降低了Chamfer距离，在处理强反射和细节纹理时明显优于PGSR和GOF。
• 优势：极强的兼容性，可直接接入单目深度等先验；计算高效，无额外推理开销。
• 局限：对极高反射和极强折射（如透明玻璃）的处理仍有待进一步提升。

• 开源地址：https://fictionalrry.github.io/AmbiSuR-Proj/
• 实现建议：Truncation的阈值 $\gamma=2$ 是关键参数。SH指示器的更新间隔建议设为1或10，过高会降低反馈响应速度。
• 迁移性：该方法模块化设计清晰，SH指示器完全可以迁移到其他基于3DGS的任务（如编辑、融合）中用于定位不确定区域。

• 核心思想：通过截断高斯边缘并利用SH系数作为动态指示器，精准修复光度歧义区域。
• 速记版Pipeline：
  1. 边缘截断：切掉高斯长尾，确保几何清晰；
  2. 颜色一致性：强制沿射线颜色融合一致；
  3. 歧义发现：计算SH高阶能量定位不确定点；
  4. 差异化调节：只对不确定点施加深度正则化。

Key Findings:

• Then, we propose an ambiguity indication module that unleashes the self-indication potential to identify and further guide correcting underconstrained reconstructions.

Links:

• PDF
• arXiv

---

Authors: Alan Z. Song, Yinjie Chen, Mu Nan, Rui Zhang, Jiahang Cao, Weijian Mai, Muquan Yu, Hossein Adeli, Deva Ramanan, Michael J. Tarr, Andrew F. Luo

Published: 2026-05-12

Categories: cs.CV, cs.LG

Abstract:

Vision Transformers (ViTs) achieve strong data-driven scaling by leveraging all-to-all self-attention. However, this flexibility incurs a computational cost that scales quadratically with image resolution, limiting ViTs in high-resolution domains. Underlying this approach is the assumption that pairwise token interactions are necessary for learning rich visual-semantic representations. In this work, we challenge this assumption, demonstrating that effective visual representations can be learned without any direct patch-to-patch interaction. We propose VECA (Visual Elastic Core Attention), a vision transformer architecture that uses efficient linear-time core-periphery structured attention enabled by a small set of learned cores. In VECA, these cores act as a communication interface: patch tokens exchange information exclusively through the core tokens, which are initialized from scratch and propagated across layers. Because the $N$ image patches only directly interact with a resolution invariant set of $C$ learned "core" embeddings, this yields linear complexity $O(N)$ for predetermined $C$, which bypasses quadratic scaling. Compared to prior cross-attention architectures, VECA maintains and iteratively updates the full set of $N$ input tokens, avoiding a small $C$-way bottleneck. Combined with nested training along the core axis, our model can elastically trade off compute and accuracy during inference. Across classification and dense tasks, VECA achieves performance competitive with the latest vision foundation models while reducing computational cost. Our results establish elastic core-periphery attention as a scalable alternative building block for Vision Transformers.

Analysis:

作为计算机视觉与机器学习领域的专家，我对这篇关于 VECA (Visual Elastic Core Attention) 的论文分析如下：

该论文提出了一种名为 VECA 的 Vision Transformer 架构，旨在解决传统自注意力机制（Self-Attention）计算复杂度随分辨率呈二次方增长的瓶颈。通过引入“核心-外围（core-periphery）”结构，该模型将 patch 间的直接交互转化为通过固定数量的学习型“核心（core）”进行的间接通信，实现了从 $O(N^2)$ 到 $O(N)$ 的计算复杂度转换，从而在保持模型表示能力的同时，大幅提升了对高分辨率图像的处理效率。

• 通信范式的转变：核心创新在于摒弃了 patch-to-patch 的全连接交互，设计了一组可学习的“核心标记（core tokens）”作为所有 patch 的信息交互枢纽。
• 线性复杂度的实现：由于每个 patch 只与 $C$ 个核心标记交互（而非彼此交互），计算开销从二次方降低至与分辨率成线性关系，且该核心集合 $C$ 与输入图像分辨率无关，实现了真正意义上的可扩展性。
• 弹性计算（Elastic Compute）：通过“嵌套训练（nested training）”机制，VECA 允许在推理阶段根据算力需求动态调整核心数量，在计算成本与准确率之间实现灵活的权衡。
• 全集合更新机制：不同于传统的压缩型注意力机制（往往丢弃部分信息），VECA 在每一层依然维护并更新完整的 $N$ 个 patch 标记，避免了因强制压缩带来的精度损失。

该论文挑战了“视觉表示学习必须依赖 patch 间全连接交互”这一主流假设，具有重要的学术价值。在工业界，VECA 为 Vision Transformer 部署到算力受限的设备（如移动端、嵌入式系统）或高分辨率医学影像、卫星遥感等领域提供了一种高效、弹性的底层架构选择，有望重塑高分辨率视觉任务的模型设计标准。

• 高分辨率医学影像诊断：如病理切片分析，需要处理超大尺寸图像，线性复杂度的架构极具吸引力。
• 自动驾驶视觉感知：需要在处理高分辨率摄像头输入的同时，严格控制推理延迟。
• 边缘 AI/移动端视觉：弹性计算特性使模型能够根据实时电池续航或硬件负载动态调整性能。
• 视频分析：处理视频帧序列时，更低的计算复杂度意味着更强的实时处理能力。

• 核心表达的瓶颈：尽管作者声称避免了 bottleneck，但信息传递仅依赖于核心标记，在大规模复杂场景或需要极高细节捕捉的极端任务中，核心标记的数量 $C$ 是否足以捕捉所有关键的全局与局部语义，仍值得商榷。
• 核心初始化与训练稳定性：核心标记是从零初始化的，其在训练过程中的演化轨迹可能不如标准自注意力机制那样直接，可能需要更精细的超参数调节或训练策略。
• 跨任务的通用性：该架构在 dense 任务（如语义分割、目标检测）中的表现是否完全等同于其在分类任务中的优异性，还有待在更多基准测试中验证，尤其是对于需要极高空间感知精度（Spatial Precision）的任务。

专家总结： VECA 的重要性在于它提供了一种**“按需计算”**的架构思路。在 Transformer 霸权时代，它通过重新思考信息的流动方式（从“大而全的网状交互”转向“高效的中心辐射型交互”），为大模型的高效落地提供了一条切实可行的路径。

Key Findings:

• We propose VECA (Visual Elastic Core Attention), a vision transformer architecture that uses efficient linear-time core-periphery structured attention enabled by a small set of learned cores.

Links:

• PDF
• arXiv

---

Authors: Yanting Miao, Yutao Sun, Dexin Wang, Mengyu Zhou, Pascal Poupart, Lei Lv, Qi Zhao, Li Wang, Hao Li, Xiaoxi Jiang, Guanjun Jiang

Published: 2026-05-12

Categories: cs.CV, cs.AI, cs.LG

Abstract:

Visual latent reasoning lets a multimodal large language model (MLLM) create intermediate visual evidence as continuous tokens, avoiding external tools or image generators. However, existing methods usually follow an output-as-input latent paradigm and yield unstable gains. We identify evidence for a feature-space mismatch that can contribute to this instability: dominant visual-latent models build on pre-norm MLLMs and reuse decoder hidden states as predicted latent inputs, even though these states occupy a substantially different norm regime from the input embeddings the model was trained to consume~\citep{xie2025mhc,li2026siamesenorm,team2026attention}. This mismatch can make direct latent feedback unreliable. Motivated by this diagnosis, we propose \textbf{GAP}, a \textbf{G}ranular \textbf{A}lignment \textbf{P}aradigm for visual latent modeling. GAP aligns visual latent reasoning at three levels: feature-level alignment maps decoder outputs into input-compatible visual latents through a lightweight PCA-aligned latent head; context-level alignment grounds latent targets with inspectable auxiliary visual supervision; and capacity-guided alignment assigns latent supervision selectively to examples where the base MLLM struggles. On Qwen2.5-VL 7B, the resulting model achieves the best mean aggregate perception and reasoning performance among our supervised variants. Inference-time intervention probing further suggests that generated latents provide task-relevant visual signal beyond merely adding token slots.

Analysis:

视觉潜在推理使多模态大语言模型（MLLM）能够以连续标记（continuous tokens）的形式生成中间视觉证据，从而避免使用外部工具或图像生成器。然而，现有方法多遵循“输出即输入”的潜变量范式，导致性能增益不稳定。本文发现这源于特征空间失配（feature-space mismatch）：主流视觉-潜变量模型基于预归一化（pre-norm）架构，其解码器隐藏状态与模型预期的输入嵌入存在显著的范数（norm）差异，导致潜变量反馈不可靠。为此，我们提出了“颗粒度对齐范式”（GAP），通过三个层面进行对齐：在特征层面，利用轻量级PCA对齐头将解码器输出映射至输入兼容的视觉潜在空间；在上下文层面，通过可审查的辅助视觉监督接地（grounding）潜变量目标；在容量层面，仅在基础模型难以处理的示例上应用潜变量监督。在Qwen2.5-VL 7B上，GAP实现了最佳的感知与推理性能，推理性干预实验进一步证实了生成潜变量提供了任务相关的视觉信号。

• 驱动力：旨在不依赖外部工具的前提下，让MLLM在自回归过程中自主生成高质量的中间视觉证据，以解决复杂感知与多步推理问题。
• 现有痛点：现有的潜变量推理方法直接将解码器的输出隐藏状态回馈作为下一层的输入，这在预归一化Transformer架构中会产生严重的“特征空间失配”。具体表现为解码器输出的范数远高于输入嵌入的范数，导致模型反馈回路不稳定。
• 核心研究假设：通过将生成后的潜变量强制映射回预训练视觉嵌入的“经验子空间”并进行范数校准，可以消除反馈回路中的分布偏移，从而使潜变量真正起到辅助推理的作用。

GAP的核心流程是围绕三个层面的对齐来构建的：

• 特征层面（PCA-Aligned Latent Head）：
  • PCA投影：不直接使用原始的最后层隐藏状态 $h^{(L)}$，而是首先计算训练集中视觉嵌入的协方差矩阵并提取主成分基 $P_k$。
  • 重构映射：将解码器输出通过一个适配器映射为PCA系数 $c_t$，随后通过 $v_t = P_k c_t + \mu$ 将潜变量重构回原始视觉嵌入空间。这一操作强制潜变量范数回归正常，解决了范数溢出问题。
• 上下文层面（Context-Grounded Supervision）：
  • 将每一条潜变量数据与一个辅助图像关联。通过 <think> 和 <parser> 标记记录中间推理逻辑与意图。模型在训练时不仅学习生成潜变量，还要匹配辅助图像的特征，确保其具备语义可解释性。
• 容量层面（Difficulty-Aware Assignment）：
  • 样本筛选：对训练样本进行多次采样评估。如果基础模型已能准确解决，则不强制要求其生成潜变量；仅在基础模型推理失败的“困难样本”上引入潜变量监督。这降低了训练过程中的噪声。

• 本质区别：传统方法试图通过微调让模型“适应”异常的潜变量分布；GAP则是通过显式的PCA投影和范数限制，将潜变量“矫正”回模型原本熟悉的输入分布。
• 创新贡献：首次系统性地识别并量化了预归一化架构下“输出即输入”带来的范数鸿沟，并引入了基于PCA子空间投影的轻量级解决方案。
• 适用场景：适用于所有基于预归一化（Pre-norm）架构的多模态大模型，特别是需要通过中间思维链增强复杂视觉推理能力的模型。

• 关键结果：在HRBench4K等五个基准测试中，GAP均优于传统的潜变量微调基线；推理干预实验证实，移除PCA重构或替换为高斯噪声会显著降低性能。
• 优势：显著提升了多模态推理的稳定性，且相比外部工具调用，几乎不增加推理复杂度和系统延迟。
• 局限：性能提升与潜在token数量呈权衡关系，过多的token会引入不必要的计算开销；且辅助图像的构造依赖于高质量的教师模型。

• 开源/复现：代码与数据集相关细节可参考论文附录。实现关键在于：1. 提取预训练视觉编码器的嵌入分布；2. 预计算并固定PCA基；3. 实现难度感知的训练数据过滤规则。
• 迁移建议：若迁移至其他模型，必须先分析其隐藏状态的范数演变曲线，确认是否存在文中提到的范数积累问题，然后再部署PCA重构头。

• 核心思想：通过投影回归输入空间的子空间，实现视觉潜变量的稳定反馈。
• 速记版pipeline：
  1. 评估基模型能力，筛选出困难样本；
  2. 生成辅助视觉证据并建立监督对；
  3. 利用PCA将解码器输出映射回输入视觉空间；
  4. 训练模型在困难样本上生成对齐的潜在思维链。

Key Findings:

• Motivated by this diagnosis, we propose \textbf{GAP}, a \textbf{G}ranular \textbf{A}lignment \textbf{P}aradigm for visual latent modeling.

Links:

• PDF
• arXiv

---

Authors: Xiaosong Jia, Bowen Yang, Zuhao Ge, Xian Nie, Yuchen Zhou, Cunxin Fan, Yufeng Li, Yilin Chai, Chao Jing, Zijian Liang, Qingwen Bu, Haidong Cao, Chao Wu, Qifeng Li, Zhenjie Yang, Chenhe Zhang, Hongyang Li, Zuxuan Wu, Junchi Yan, Yu-Gang Jiang

Published: 2026-05-12

Categories: cs.RO

Abstract:

Vision-Language-Action (VLA) models aim for general robot learning by aligning action as a modality within powerful Vision-Language Models (VLMs). Existing VLAs rely on end-to-end supervision to implicitly enable the action decoding process to learn task-relevant features. However, without explicit guidance, these models often overfit to spurious correlations, such as visual shortcuts or environmental noise, limiting their generalization. In this paper, we introduce GuidedVLA, a framework designed to manually guide the action generation to focus on task-relevant factors. Our core insight is to treat the action decoder not as a monolithic learner, but as an assembly of functional components. Individual attention heads are supervised by manually defined auxiliary signals to capture distinct factors. As an initial study, we instantiate this paradigm with three specialized heads: object grounding, spatial geometry, and temporal skill logic. Across simulation and real-robot experiments, GuidedVLA improves success rates in both in-domain and out-of-domain settings compared to strong VLA baselines. Finally, we show that the quality of these specialized factors correlates positively with task performance and that our mechanism yields decoupled, high-quality features. Our results suggest that explicitly guiding action-decoder learning is a promising direction for building more robust and general VLA models.

Analysis:

作为计算机视觉与机器人学习领域的专家，我对这篇论文《GuidedVLA》的分析如下：

该论文针对当前视觉-语言-动作（VLA）模型在复杂环境中因依赖端到端学习而导致“特征过拟合”或“视觉捷径”的问题，提出了 GuidedVLA 框架。其核心贡献在于将动作解码器解构为多个功能模块，通过人工定义的辅助信号显式引导注意力头关注任务的关键要素（如目标定位、空间几何和时序逻辑），从而显著提升了机器人的泛化能力。

• 注意力机制的特异化（Attention Specialization）： 不同于传统的黑盒端到端训练，该方法将动作解码器的注意力头进行“职责拆分”。
• 即插即用的辅助监督（Plug-and-Play Supervision）： 通过引入辅助信号（Auxiliary Signals）对特定的注意力头进行约束，强迫模型提取结构化的、与任务高度相关的特征。
• 模块化解耦（Decoupling）： 作者展示了通过这种机制可以实现物体定位、空间几何关系和时序逻辑的解耦，使得动作生成过程更加可解释且鲁棒。

• 推动 VLA 的可解释性与鲁棒性： 该研究打破了 VLA 模型“端到端全盘接受”的范式，为提升模型在开集（Out-of-Distribution）场景下的可靠性提供了一种可控的改进思路。
• 优化数据效率： 通过显式指导注意力分配，模型可能不再需要海量的纯数据来“摸索”哪些视觉信息重要，从而有望降低对超大规模数据集的依赖。
• 迈向“神经符号”融合： 该方法隐性地将结构化的先验知识（如几何关系）注入到神经网络中，是神经符号学习在机器人决策领域的一次成功实践。

• 工业自动化： 需要高精度视觉定位与动作协同的流水线作业。
• 复杂环境导航： 涉及动态障碍物避让与长期任务规划的移动机器人（如扫地机器人或送餐机器人）。
• 具身智能（Embodied AI）： 该研究对于家庭服务机器人在陌生环境下的任务执行具有直接的借鉴价值。

• 辅助信号的获取成本： 论文提到需要“手动定义”辅助信号（如物体地面真值、几何深度图等）。在真实世界的长尾任务中，自动生成这些高质量的辅助标签可能面临挑战。
• 模块化带来的计算 overhead： 虽然是即插即用，但如果需要为每一个新任务设计特定的注意力头结构，可能会增加系统开发的工程复杂度。
• 组合泛化上限： 虽然明确了三个基础因子（物体、几何、时序），但在处理极其复杂的多步推理任务时，这三种因子的组合是否足以覆盖所有任务需求，仍待验证。

---

专家观点： 这篇论文的有趣之处在于它反思了端到端学习在具身智能中的局限性。在当前大模型浪潮中，很多工作追求盲目的“Scaling”，而 GuidedVLA 选择回归到对模型内部特征表达的“精细化干预”。这种将结构化认知（Spatial/Temporal/Semantic）融入神经网络注意力机制的方法，极有可能成为未来提高机器人决策准确率的核心路径之一。

Key Findings:

• In this paper, we introduce GuidedVLA, a framework designed to manually guide the action generation to focus on task-relevant factors.
• Finally, we show that the quality of these specialized factors correlates positively with task performance and that our mechanism yields decoupled, high-quality features.

Links:

• PDF
• arXiv

---

Authors: Hamza Ahmed Durrani, Suleman Khan

Published: 2026-05-12

Categories: cs.RO

Abstract:

Stable, low-latency whole-body teleoperation of humanoid robots is an open research challenge, complicated by kinematic mismatches between human and robot morphologies, accumulated inertial sensor noise, non-trivial control latency, and persistent sim-to-real transfer gaps. This paper presents a complete real-time whole-body teleoperation system that maps human motion, recorded with a Virdyn IMU-based full-body motion capture suit, directly onto a Unitree G1 humanoid robot. We introduce a custom motion-processing, kinematic retargeting, and control pipeline engineered for continuous, low-latency operation without any offline buffering or learning-based components. The system is first validated in simulation using the MuJoCo physics model of the Unitree G1 (sim2sim), and then deployed without modification on the physical platform (sim2real). Experimental results demonstrate stable, synchronized reproduction of a broad motion repertoire, including walking, standing, sitting, turning, bowing, and coordinated expressive full-body gestures. This work establishes a practical, scalable framework for whole-body humanoid teleoperation using commodity wearable motion capture hardware.

Analysis:

类人机器人的稳定、低延迟全身遥操作是一项开放性研究挑战，受限于人类与机器人形态之间的运动学差异、积累的惯性传感器噪声、非平凡的控制延迟以及持续的仿真到现实（sim-to-real）转移鸿沟。本文提出了一种完整的实时全身遥操作系统，该系统将使用 Virdyn 基于 IMU 的全身动捕服记录的人类动作，直接映射到 Unitree G1 类人机器人上。我们引入了一种定制的运动处理、运动学重定向和控制流水线，旨在实现无需离线缓冲或基于学习组件的持续、感知不到的低延迟操作。该系统首先在 MuJoCo 物理模型中进行了仿真验证（sim2sim），随后在不经修改的情况下部署在物理平台上（sim2real）。实验结果证明了包括行走、站立、坐下、转弯、鞠躬和协调的表达性全身姿态在内的广泛动作库的稳定、同步再现。这项工作为使用商用可穿戴运动捕捉硬件进行全身类人遥操作建立了一个实用、可扩展的框架。

• 驱动力：实现类人机器人在非结构化环境中的自然、实时操控，摆脱对大规模数据集、高昂训练成本和仿真环境依赖的束缚。
• 现有痛点：当前基于强化学习（RL）的全身控制方法通常需要复杂的仿真训练和奖励工程，且泛化性受限于仿真保真度；离线重定向方法难以支持实时交互。
• 研究假设：通过精细的物理运动学约束和实时信号滤波，纯运动学重定向足以实现人体到机器人的高保真映射，无需动态学习即可跨越 sim2real 鸿沟。

该流水线是一个完全确定性的端到端系统，包含以下关键模块：

• 数据流：Virdyn IMU 服采集原始姿态数据 -> 实时信号平滑 -> 运动学映射 -> 约束处理 -> 机器人底层伺服控制。
• 运动学映射（Kinematic Mapping）：针对机器人与人体动力学差异（如关节自由度、连接长度不同），采用几何投影法，确保映射后的角度在机器人物理约束内，同时保留人体动作意图。
• 实时平滑（Real-Time Smoothing）：为了消除 IMU 信号中的高频噪声，采用指数移动平均（EMA）滤波器，通过调节时间常数平衡平滑度与延迟。
• 联合限制与同步（Limit Enforcement & Sync）：执行硬/软限位裁剪（Clipping）以防止执行器损坏。全系统在单一控制循环中同步执行，无需缓冲，保证了极低的控制延迟。

• 本质区别：本方法属于纯运动学/模型无关方法，区别于数据驱动的 AI 方法（RL 或模仿学习）。它不依赖神经网络，因此完全透明、确定且计算开销极低。
• 创新贡献：实现了“零修改”的 Sim2Real 迁移，验证了在复杂类人机器人控制中，良好的运动学设计比拟真的动力学学习更为稳健。
• 适用场景：需要快速部署、高响应性、且要求动作确定性高的遥操作任务。

• 验证方法：在 MuJoCo 中进行 sim2sim 基准测试，验证无碰撞和无奇异点，随后直接平移代码到物理 Unitree G1 运行。
• 关键结果：在行走、坐下、鞠躬等动作中表现出极高的同步性，无需针对真实环境进行二次调参。
• 主要优势：极低的实现工程量、无需训练数据、完全实时响应。
• 主要局限：对高速动态运动的平衡维持能力依赖于机器人原厂底层伺服，缺乏主动动量控制。

• 迁移建议：该框架高度模块化。若要迁移至其他平台，仅需修改“运动学映射”模块中的机器人几何描述模型（URDF）即可。
• 关键点：EMA 滤波器的时间常数是调优核心，需要根据具体 IMU 传感器的噪声水平进行现场校准。

• 核心思想：利用确定性运动学映射实现低延迟的遥操作。
• 速记版pipeline：
  1. 采集人体关节的实时姿态数据；
  2. 对数据进行加权平滑以滤除抖动；
  3. 通过几何映射将人体动作转换给机器人；
  4. 实时裁剪限位以确保机器安全；
  5. 直接通过总线驱动机器人关节。

Key Findings:

• We introduce a custom motion-processing, kinematic retargeting, and control pipeline engineered for continuous, low-latency operation without any offline buffering or learning-based components.

Links:

• PDF
• arXiv

---

Authors: Hao Zhu, Shuo Jin, Wenbin Liao, Jiayu Xiao, Yan Zhu, Siyue Yu, Feng Dai

Published: 2026-05-12

Categories: cs.CV

Abstract:

Pursuing training-free open-vocabulary semantic segmentation in an efficient and generalizable manner remains challenging due to the deep-seated spatial bias in CLIP. To overcome the limitations of existing solutions, this work moves beyond the CLIP-based paradigm and harnesses the recent spatially-aware dino.txt framework to facilitate more efficient and high-quality dense prediction. While dino.txt exhibits robust spatial awareness, we find that the semantic ambiguity of text queries gives rise to severe mismatch within its dense cross-modal interactions. To address this, we introduce \textcolor{oursblue}{\textbf{VI}}sual-guided \textcolor{oursblue}{\textbf{P}}rompt evolution (\textcolor{oursblue}{\textbf{\textit{VIP}}}) to rectify the semantic expressiveness of text queries in dino.txt, unleashing its potential for fine-grained object perception. Towards this end, \VIP integrates alias expansion with a visual-guided distillation mechanism to mine valuable semantic cues, which are robustly aggregated in a saliency-aware manner to yield a high-fidelity prediction. Extensive evaluations demonstrate that \VIP: \ding{182} surpasses the top-leading methods by $1.4% \sim 8.4%$ average mIoU, \ding{183} generalizes well to diverse challenging domains, and \ding{184} requires marginal inference time and memory overhead. \href{https://github.com/MiSsU-HH/VIP}{Our code is publicly available at GitHub \faGithub}.

Analysis:

追求一种既高效又具有泛化能力的无需训练的开放词汇语义分割（OVSS）方法，由于CLIP中根深蒂固的“空间偏差”而充满挑战。为了克服现有解决方案的局限性，本研究超越了传统的CLIP范式，利用近期具备空间感知能力的dino.txt框架，以实现更高效、高质量的密集预测。尽管dino.txt具备鲁棒的空间感知能力，但我们发现文本查询的语义歧义会导致其密集跨模态交互中的严重不匹配。为此，我们引入了视觉引导提示演化（VIP），以校正dino.txt中文本查询的语义表达能力，释放其进行细粒度物体感知的潜力。为此，VIP整合了别名扩展和视觉引导的蒸馏机制，通过显著性感知方式挖掘并聚合宝贵的语义线索，从而产生高保真的预测。大量评估表明，VIP：❶ 在标准基准测试中平均mIoU超过了现有顶尖方法 1.4% ~ 8.4%；❷ 对不同的挑战性领域具有良好的泛化能力；❸ 仅需极低的推理时间和内存开销。

• 驱动力：在无需训练的OVSS领域，CLIP模型虽能实现跨模态对齐，但其主要针对全局图像特征，缺乏细粒度空间感知；现有的调制方法（如在最后一层加注意力调节）往往会牺牲模型的语义一致性，破坏统一特征空间。
• 痛点：dino.txt虽通过DINOv3解决了空间感知问题，但其使用的“文本标签”过于单一，导致模型密集特征与文本锚点之间存在严重的“跨模态不匹配”问题（语义表达能力不足）。
• 研究假设：通过引入大型语言模型（LLM）生成并筛选符合视觉先验的“语义别名”，能够有效弥合密集视觉特征与文本标签之间的 lexical gap（词汇鸿沟），从而提升对目标的精准定位。

• 流程总结：
  1. 语义扩展：利用LLM生成每个类别的候选别名池（如：person -> {people, human, crowd...}）。
  2. 视觉引导别名蒸馏：通过计算候选别名生成的激活图与DINOv3提取的“多层视觉亲和度矩阵”之间的IoU（视觉接地得分），并结合熵值（语义确定性得分）作为惩罚项，筛选出既符合视觉结构又具备类间判别力的优质别名。
  3. 显著性感知软聚合：将多个优质别名的激活图进行加权融合。权重由全局图像特征与别名文本嵌入之间的余弦相似度确定，通过能量函数处理，避免了简单的平均或最大操作带来的噪声干扰。
• 模型结构：VIP建立在dino.txt的冻结框架上，利用DINOv3的主干特征，通过LLM进行提示词工程，并添加了一套无需训练的后处理聚合逻辑。

• 本质区别：主流方法（如CLIPer, CorrCLIP）侧重于通过调整图像编码器或依赖SAM等复杂模型，而VIP侧重于优化“文本侧”，利用视觉先验来引导文本提示的演化，保持了图像编码器的原始特征分布。
• 创新贡献：提出了一种无需训练、无需掩码标注的“视觉引导语义扩展”框架，极大降低了推理成本，且在性能和速度上实现了帕累托最优。

• 关键结果：在标准基准测试（如Pascal VOC等）上，VIP相比当前最高性能的单模型方法提升8.4% mIoU，在遥感数据集上表现出极强的泛化优势。
• 优势：极低的资源消耗（7%推理延迟，50%内存），无需微调。
• 局限：对极度混淆的类名（如“wall-concrete”与“wall-panel”）区分能力仍有待提升。

• 开源情况：代码已开源，建议直接基于mmsegmentation框架实现。
• 实现要点：
  • 别名筛选时，余弦相似度阈值设为0.7是经验值，需根据数据集颗粒度微调。
  • 传播算法（Random Walk）的迭代步数$\beta$和阻尼系数$\alpha$取2即可达到稳态。
  • 确保LLM生成的别名覆盖了同义词和子类，但需避免包含过多的幻觉词汇。
• 迁移可能：该方法可直接迁移至任何具备密集视觉输出能力的VLM模型，通过扩展提示词来提升任务性能。

• 核心思想：利用视觉先验作为监督信号，自动演化并聚合更精准的文本提示。
• 速记版Pipeline：
  1. 用LLM为每个类别生成一系列词汇变体。
  2. 计算这些变体与图片视觉特征的匹配度。
  3. 剔除语义不明或匹配错误的变体。
  4. 根据匹配质量加权融合所有有效变体的输出。

Key Findings:

• To address this, we introduce \textcolor{oursblue}{\textbf{VI}}sual-guided \textcolor{oursblue}{\textbf{P}}rompt evolution (\textcolor{oursblue}{\textbf{\textit{VIP}}}) to rectify the semantic expressiveness of text queries in dino.txt, unleashing its potential for fine-grained object perception.

Links:

• PDF
• arXiv

---