以下是为您准备的每日报告执行摘要，涵盖2026年5月6日arXiv计算机视觉领域的10篇论文。

---

本日论文反映了计算机视觉领域的三个核心趋势：多模态与基础模型的实用化、4D/动态场景理解与生成、以及机器人操作中的视觉-语言-动作融合。具体表现为：

• 多模态智能体与检索：研究如何构建可处理文本、图像、视频等多模态输入的智能搜索系统（如OpenSearch-VL），强调开源框架和可复现性。
• 动态3D/4D数据与生成：从静态3D资产生成（PhysForge）向动态4D场景（Syn4D）和时空一致性建模（ConsisVLA-4D）演进，尤其关注物理交互（PhysForge）和长时程状态变化（ScriptHOI）。
• 扩散模型的优化与蒸馏：针对扩散Transformer中的离群token（Taming Outlier Tokens）和步蒸馏模型的连续调优（D-OPSD）提出解决方案，旨在提升生成效率与稳定性。
• 机器人学习的闭环方法：结合行为克隆（BC）与强化学习（Q-functions）实现离线到在线的平滑过渡（When Life Gives You BC），以及利用4D推理实现精准操作（ConsisVLA-4D）。
• 感知与理解的细粒度提升：包括语言引导的二分图像分割（FlowDIS）和相机-激光雷达联合占据预测的几何重参数化（Height-Guided Projection）。

• OpenSearch-VL：提出了一种开放、可复现的多模态搜索智能体框架。其核心价值在于打破闭源垄断，为社区提供了构建前沿搜索能力的蓝图，可能推动检索增强生成（RAG）在视觉领域的标准化。
• Syn4D：首个大规模多视角合成4D数据集。它解决了动态场景数据稀缺和标注困难的问题，有望成为4D感知与生成领域的Benchmark，类似ImageNet对2D视觉的贡献。
• When Life Gives You BC, Make Q-functions：提出了一种将行为克隆（BC）数据转化为Q函数进行离线强化学习的实用方法。该方法降低了机器人学习中对昂贵在线交互的依赖，为样本高效的操作策略学习提供了新路径。
• PhysForge：专注于生成物理可交互的3D资产。与仅考虑几何外观的方法不同，它引入了物理参数（如质量、摩擦力），直接服务于虚拟世界和机器人仿真，打通了生成与模拟的壁垒。

• 扩散模型中的离群值处理（Taming Outlier Tokens）：在扩散Transformer中首次系统性地研究token级异常值对生成质量的影响，并提出对应校准机制。这为提升高分辨率、长序列扩散模型的稳定性指明了新方向。
• ON-Policy步蒸馏调优（D-OPSD）：将策略梯度思想引入扩散模型步蒸馏的连续调优中，使得蒸馏后的模型能在推理时动态调整步数，平衡速度与质量，这是生成式模型部署优化的重要进展。
• 4D推理与机器人操作（ConsisVLA-4D）：提出从3D感知升级为4D（时空）推理，使机器人能理解运动时序和状态变化，将视觉语言行动（VLA）模型推向更具挑战的动态操作场景。
• 语言引导的二分分割（FlowDIS）：将流匹配（Flow Matching）这一生成式范式引入图像分割，实现了语言引导下的精确二分区域提取，开创了分割任务中概率流建模的新思路。

1. OpenSearch-VL：对于从事多模态系统、搜索、RAG或基础模型工程的研究者，这是必读文献，其开源配方极具实用价值。
2. When Life Gives You BC, Make Q-functions：机器人、强化学习、模仿学习领域的研究人员应重点关注。它提出了一个优雅且实用的理论框架，架起了BC和RL之间的桥梁。
3. Syn4D：动态3D/4D视觉和生成模型的研究者不应错过。它可能成为未来4D任务的标准数据集和性能基准。
4. PhysForge：对虚拟世界构建、机器人仿真、物理感知生成感兴趣的研究者值得细读。其物理约束的资产生成方法颇具前瞻性。
5. Taming Outlier Tokens in Diffusion Transformers：对于关注扩散模型架构和训练稳定性的研究者，这篇论文揭示了重要且被忽视的问题，并给出了有效解决方案。

---

总结：今日论文标志着计算机视觉正快速从“静态感知”迈向“动态交互”与“多模态智能”。开源基础模型、4D时空数据、物理仿真与机器人学习的深度整合是当前最活跃的创新前沿。建议重点关注那些提供开源基准、新数据集或理论与工程桥梁的工作。

---

1. OpenSearch-VL: An Open Recipe for Frontier Multimodal Search Agents
2. Syn4D: A Multiview Synthetic 4D Dataset
3. Taming Outlier Tokens in Diffusion Transformers
4. D-OPSD: On-Policy Self-Distillation for Continuously Tuning Step-Distilled Diffusion Models
5. When Life Gives You BC, Make Q-functions: Extracting Q-values from Behavior Cloning for On-Robot Reinforcement Learning
6. PhysForge: Generating Physics-Grounded 3D Assets for Interactive Virtual World
7. ConsisVLA-4D: Advancing Spatiotemporal Consistency in Efficient 3D-Perception and 4D-Reasoning for Robotic Manipulation
8. FlowDIS: Language-Guided Dichotomous Image Segmentation with Flow Matching
9. Height-Guided Projection Reparameterization for Camera-LiDAR Occupancy
10. ScriptHOI: Learning Scripted State Transitions for Open-Vocabulary Human-Object Interaction Detection

---

Authors: Shuang Chen, Kaituo Feng, Hangting Chen, Wenxuan Huang, Dasen Dai, Quanxin Shou, Yunlong Lin, Xiangyu Yue, Shenghua Gao, Tianyu Pang

Published: 2026-05-06

Categories: cs.CV

Abstract:

Deep search has become a crucial capability for frontier multimodal agents, enabling models to solve complex questions through active search, evidence verification, and multi-step reasoning. Despite rapid progress, top-tier multimodal search agents remain difficult to reproduce, largely due to the absence of open high-quality training data, transparent trajectory synthesis pipelines, or detailed training recipes. To this end, we introduce OpenSearch-VL, a fully open-source recipe for training frontier multimodal deep search agents with agentic reinforcement learning. First, we curated a dedicated pipeline to construct high-quality training data through Wikipedia path sampling, fuzzy entity rewriting, and source-anchor visual grounding, which jointly reduce shortcuts and one-step retrieval collapse. Based on this pipeline, we curate two training datasets, SearchVL-SFT-36k for SFT and SearchVL-RL-8k for RL. Besides, we design a diverse tool environment that unifies text search, image search, OCR, cropping, sharpening, super-resolution, and perspective correction, enabling agents to combine active perception with external knowledge acquisition. Finally, we propose a multi-turn fatal-aware GRPO training algorithm that handles cascading tool failures by masking post-failure tokens while preserving useful pre-failure reasoning through one-sided advantage clamping. Built on this recipe, OpenSearch-VL delivers substantial performance gains, with over 10-point average improvements across seven benchmarks, and achieves results comparable to proprietary commercial models on several tasks. We will release all data, code, and models to support open research on multimodal deep search agents.

Analysis:

以下是对《OpenSearch-VL: An Open Recipe for Frontier Multimodal Search Agents》的深入技术分析：

深度搜索已成为前沿多模态智能体的核心能力，使其能够通过主动搜索、证据验证和多步推理解决复杂问题。然而，顶级多模态搜索智能体因缺乏开源的高质量训练数据、透明的轨迹合成流程或详细的训练方案而难以复现。为此，我们推出了 OpenSearch-VL，这是一套用于训练前沿多模态深度搜索智能体的完全开源方案。该方案包括：一个通过维基百科路径采样、模糊实体改写和源锚点视觉定位构建的高质量数据处理流水线；一个统一了文本搜索、图像搜索、OCR、裁剪、锐化、超分辨率和透视校正的多元工具环境；以及一种“致命感知（fatal-aware）”的 GRPO 训练算法，它通过掩码处理工具故障并保留有用的前期推理，从而显著提升了长程推理的鲁棒性。实验表明，OpenSearch-VL 在七项基准测试中平均提升超过 10 个百分点，性能可媲美商业专有模型。

• 驱动力：旨在填补开源领域在“高质量多模态智能体训练”方面的空白，打破商用闭源模型的垄断。
• 现有痛点：
  • 数据短缺：缺乏真实场景下需要长程工具使用和多模态理解的训练数据。
  • 逻辑崩塌：长程推理中单次工具调用失败（Timeout、错误参数等）常导致整条轨迹被舍弃或产生无效噪声梯度。
  • 视觉依赖：多数模型将输入图像视为“完美”，缺乏自主进行视觉预处理（如修复、裁剪）的机制。

• 数据构建 (Pipeline)：
  • 路径采样：基于维基百科图结构进行受限随机游走，生成包含锚点、桥接节点和答案节点的路径，确保任务的多跳逻辑性。
  • 模糊改写：将明确的实体名改写为属性描述，强制模型进行主动检索验证，而非依靠内部参数知识“速成”。
• 工具环境 (Unified Tool Suite)：
  • 感知与修复：引入OCR、锐化、超分辨率等视觉工具，使模型具备“先修复后推理”的Active Perception（主动感知）能力。
• 训练算法 (Fatal-Aware GRPO)：
  • 核心机制：定义“致命状态”（连续3次错误），并在轨迹中定位“致命节点” $f_i$。
  • 致命感知掩码：强制将 $f_i$ 之后的生成内容掩码（Mask），不参与梯度计算。
  • 单侧优势归一化 (Advantage Clamping)：针对轨迹奖励，设置 $A_i = \max(r_i, 0)$。如果轨迹失败，奖励直接归零而非引入负惩罚，从而保护了轨迹前半段正确的推理逻辑不被破坏。

• 本质区别：OpenSearch-VL 首次在多模态搜索中整合了“视觉主动修复”与“基于失败轨迹掩码的强化学习”。
• 创新点：致命感知掩码机制，将“失败”的负面影响限制在错误发生后的 Token 上，防止对整个 Rollout 的全局性破坏。

• 验证方法：在SimpleVQA、VDR、MMSearch等7个基准上评估。
• 关键结果：在8B规模下平均领先SOTA 3.9点；32B模型性能超过Gemini-2.5-Pro。
• 优势：极强的鲁棒性，特别是在输入图像质量较差的现实场景下表现突出。
• 局限：对GPT-4o/5.4作为评估 Judge 的依赖较高，增加了构建成本。

• 开源情况：已发布数据、代码及模型权重（详见 GitHub/HuggingFace）。
• 关键参数：训练时使用了 DeepSpeed ZeRO-3 和 256 GPU 大规模分布式训练；RL 阶段采用了 SGLang 异步引擎和 Megatron-LM 策略。
• 迁移建议：其“数据改写生成器”和“致命感知强化学习”框架可直接迁移到任何需要复杂工具链使用的 LLM 智能体中，尤其是涉及多步骤 API 调用的场景。

• 核心思想：通过数据去捷径化与强化学习的容错机制，培养智能体“多步修复与验证”的逻辑能力。
• 速记版Pipeline：
  1. 构建路径：从维基百科路径生成多跳问答数据。
  2. 注入噪声：对图像进行模糊/畸变，训练模型自主调用修复工具。
  3. 强化学习：执行多轮探索，记录轨迹，若遇严重工具错误，仅保留前半段成功轨迹进行学习。
  4. 优化训练：通过奖励归一化与单侧优势截断，确保模型从探索中稳定提升。

Key Findings:

• To this end, we introduce OpenSearch-VL, a fully open-source recipe for training frontier multimodal deep search agents with agentic reinforcement learning.
• Finally, we propose a multi-turn fatal-aware GRPO training algorithm that handles cascading tool failures by masking post-failure tokens while preserving useful pre-failure reasoning through one-sided advantage clamping.

Links:

• PDF
• arXiv

---

Authors: Zeren Jiang, Yushi Lan, Yihang Luo, Yufan Deng, Zihang Lai, Edgar Sucar, Christian Rupprecht, Iro Laina, Diane Larlus, Chuanxia Zheng, Andrea Vedaldi

Published: 2026-05-06

Categories: cs.CV

Abstract:

Dense 3D reconstruction and tracking of dynamic scenes from monocular video remains an important open challenge in computer vision. Progress in this area has been constrained by the scarcity of high-quality datasets with dense, complete, and accurate geometric annotations. To address this limitation, we introduce Syn4D, a multiview synthetic dataset of dynamic scenes that includes ground-truth camera motion, depth maps, dense tracking, and parametric human pose annotations. A key feature of Syn4D is the ability to unproject any pixel into 3D to any time and to any camera. We conduct extensive evaluations across multiple downstream tasks to demonstrate the utility and effectiveness of the proposed dataset, including 4D scene reconstruction, 3D point tracking, geometry-aware camera retargeting, and human pose estimation. The experimental results highlight Syn4D's potential to facilitate research in dynamic scene understanding and spatiotemporal modeling.

Analysis:

作为计算机视觉领域的专家，我对这篇论文《Syn4D: A Multiview Synthetic 4D Dataset》的分析如下：

该论文提出了 Syn4D，这是一个大规模的高质量多视角合成 4D 数据集，专门用于解决单目动态场景重建与跟踪中的数据匮乏问题。该数据集提供了包含相机运动、深度图、稠密跟踪及参数化人体姿态在内的全套地面真值（Ground Truth），旨在为复杂的动态场景理解任务提供标准化的基准与评估体系。

Syn4D 的核心创新在于高精度的时空一致性与多模态标注的完备性：

• 全像素时空映射（Unprojection capability）： 该数据集不仅提供静态的深度信息，还通过其设计架构，允许研究人员将任意像素反投影到任意时间点及任意视角下的 3D 空间。这对于解决“动态遮挡”和“时空对应关系”等极具挑战性的计算机视觉问题至关重要。
• 多维度标注融合： 不同于以往数据集只关注单一任务（如仅人体或仅场景），Syn4D 将几何结构、相机位姿与动作跟踪高度集成，形成了一个稠密的 4D 训练生态系统。

• 弥补“数据鸿沟”： 目前动态场景重构领域最大的瓶颈在于缺乏具备稠密 3D 标注的真实世界数据。Syn4D 提供了高保真的合成数据作为“预训练源”或“评估基准”，能够显著降低模型开发门槛。
• 推动泛化性提升： 论文中提到的几何感知相机重定向（geometry-aware camera retargeting）和 4D 重构任务，是迈向 AIGC 视频生成（如 Sora 等视频生成模型）实现物理一致性的关键。Syn4D 将帮助研究者更好地训练模型理解视频背后的 3D 几何规律。

• 生成式 AI (Video Generation)： 能够提升视频生成模型对 3D 空间和物体运动物理规律的建模能力，增强视频的一致性。
• 机器人感知 (Robotic Perception)： 机器人需要在动态环境中进行导航和交互，该数据集提供的稠密跟踪数据对机器人的动态避障和场景理解具有直接帮助。
• 增强现实 (AR/VR)： 对动态物体进行精确的 3D 渲染和置入，依赖于 Syn4D 提供的这种时空稠密标注。
• 动作捕捉与分析： 尤其是在非侵入式、无需穿戴传感器的 4D 人体姿态估计领域，该数据集提供了极其宝贵的训练数据。

• 域差异问题 (Domain Gap)： 由于 Syn4D 是“合成”数据集，模型在合成数据上学习到的特征能否完美泛化到真实世界的复杂光影、纹理和噪声环境中，是一个绕不开的挑战（尽管合成数据已极具价值，但通常需要配合领域自适应技术）。
• 场景多样性限制： 虽然数据集涵盖了多种动态场景，但合成场景通常难以模拟现实世界中极其复杂的物理互动（如柔性物体复杂的形变、复杂的半透明材质等）。
• 算力依赖： 由于包含多视角稠密信息，该数据集的数据规模可能极其巨大，对使用者的存储空间和训练推理算力提出了较高要求。

专家总结： 这篇论文的出现是计算机视觉领域从“表观建模”向“几何一致性建模”转型的缩影。Syn4D 不仅仅是一个数据集，它更像是为未来的动态场景大模型提供了一套**“物理基准校准系统”**，对于那些致力于推动单目视频 3D 化的研究人员来说，这是一项具有里程碑意义的基础设施研究。

Key Findings:

• To address this limitation, we introduce Syn4D, a multiview synthetic dataset of dynamic scenes that includes ground-truth camera motion, depth maps, dense tracking, and parametric human pose annotations.

Links:

• PDF
• arXiv

---

Authors: Xiaoyu Wu, Yifei Wang, Tsu-Jui Fu, Liang-Chieh Chen, Zhe Gan, Chen Wei

Published: 2026-05-06

Categories: cs.CV, cs.AI, cs.LG

Abstract:

We study outlier tokens in Diffusion Transformers (DiTs) for image generation. Prior work has shown that Vision Transformers (ViTs) can produce a small number of high-norm tokens that attract disproportionate attention while carrying limited local information, but their role in generative models remains underexplored. We show that this phenomenon appears in both the encoder and denoiser of modern Representation Autoencoder (RAE)-DiT pipelines: pretrained ViT encoders can produce outlier representations, and DiTs themselves can develop internal outlier tokens, especially in intermediate layers. Moreover, simply masking high-norm tokens does not improve performance, indicating that the problem is not only caused by a few extreme values, but is more closely related to corrupted local patch semantics. To address this issue, we introduce Dual-Stage Registers (DSR), a register-based intervention for both components: trained registers when available, recursive test-time registers otherwise, and diffusion registers for the denoiser. Across ImageNet and large-scale text-to-image generation, these interventions consistently reduce outlier artifacts and improve generation quality. Our results highlight outlier-token control as an important ingredient in building stronger DiTs.

Analysis:

本文研究了扩散变换器（DiTs）图像生成中的离群token问题。先前研究表明，视觉变换器（ViTs）会产生少量高范数token，这些token在携带有限信息的同时吸引了不成比例的注意力。我们发现这一现象在现代表示自编码器（RAE）-DiT流水线的编码器和去噪器中均存在。仅仅遮蔽这些高范数token并不能提升性能，这表明问题并非单纯由极端值引起，而是与局部补丁语义的损坏密切相关。为解决此问题，我们引入了双阶段寄存器（Dual-Stage Registers, DSR），这是一种针对编码器（使用测试时递归寄存器）和去噪器（使用训练好的扩散寄存器）的寄存器干预机制。在ImageNet和大规模文本到图像生成任务中，DSR显著减少了离群伪影并提升了生成质量。

• 驱动力：在DiT中观察到异常高范数的“离群token”导致了特征图伪影，降低了生成质量。
• 现有方法痛点：传统的遮蔽（masking）策略无法奏效，证明离群token不仅是简单的极端数值问题，而是代表了由于注意力过分集中而导致的“局部补丁语义缺失”或“注意力陷阱”。
• 研究假设：通过在Transformer层中引入专门的“寄存器token”作为注意力接收器（attention sinks），可以吸收这些异常的高范数行为，从而稳定局部补丁的表示，恢复语义完整性。

流程总结：

1. 编码器（Encoder）阶段：针对预训练ViT，采用测试时递归寄存器（Recursive Test-time Registers）。在推理阶段插入一个额外的token，并递归地应用此操作，以平滑特征分布，且无需重新训练编码器。
2. 去噪器（Diffusion Transformer）阶段：引入扩散寄存器（Diffusion Registers）。在模型内部插入固定数量（如36个）的学习型寄存器token，在扩散训练过程中与模型参数联合训练。
3. 协同机制：在推理时，将编码器和扩散模型中的寄存器输出丢弃，仅利用处理后的图像patch token进行后续解码，确保了下游生成的纯净度。

算法解释：

• 扩散寄存器：本质上是一组可学习的参数，作为self-attention机制中的“避雷针”。当某些patch token出现异常高注意力权重时，这些寄存器能够分担这一压力，避免局部特征崩塌。

• 本质区别：与现有方法仅关注识别模型不同，DSR首次将寄存器机制应用于生成式Diffusion Transformer，并同时处理了Tokenizer和Generator两个阶段。
• 创新贡献：
  • 提出了适用于不同模态（潜在空间和像素空间）的统一离群token管理框架。
  • 引入了递归测试时寄存器（Recursive TTR），无需针对不同编码器架构进行昂贵的微调。
• 适用场景：适用于任何基于Transformer骨干网（包括ViT编码器或DiT去噪器）的生成模型。

• 验证方法：在ImageNet-1K及大规模T2I生成任务上，对比了Baseline与加入DSR后的FID、IS等指标。
• 关键结果：在RAE-DiT-XL（SigLIP2-B）架构上，将ImageNet-256 FID从5.89降低至4.58；在Scale-RAE中，GenEval指标显著提升。
• 主要优势：即插即用，推理时不增加显著的计算负担（因为推理后丢弃寄存器），且显著提升生成质量和收敛速度（甚至可实现4倍更快的训练达成相同效果）。
• 主要局限：对超大规模寄存器数量（如100个以上）反而会导致性能下降，存在“甜点”区间。

• 实现细节：
  • 插入位置：最佳插入深度通常在Transformer的早期到中期（如第8层）。
  • 寄存器数量：经验值为36个左右，过多或过少均不利于性能。
  • 递归应用：对于像SigLIP2这种具有多源离群点的模型，采用递归式TTR（先处理一层再处理下一层）效果更佳。
• 迁移建议：对于新的DiT模型，建议先可视化范数分布，确认离群token层级，然后将寄存器插入到离群现象最突出的中间层。

• 核心思想：通过引入专门的寄存器token作为注意力陷阱，吸收局部语义损坏。
• 速记版pipeline：
  1. 识别编码器与去噪器的离群层。
  2. 编码器插入递归式寄存器以平滑特征。
  3. 去噪器插入学习型寄存器进行联合训练。
  4. 推理时剔除寄存器，保留处理后的干净图像token。

Key Findings:

• We show that this phenomenon appears in both the encoder and denoiser of modern Representation Autoencoder (RAE)-DiT pipelines: pretrained ViT encoders can produce outlier representations, and DiTs themselves can develop internal outlier tokens, especially in intermediate layers.
• To address this issue, we introduce Dual-Stage Registers (DSR), a register-based intervention for both components: trained registers when available, recursive test-time registers otherwise, and diffusion registers for the denoiser.

Links:

• PDF
• arXiv

---

Authors: Dengyang Jiang, Xin Jin, Dongyang Liu, Zanyi Wang, Mingzhe Zheng, Ruoyi Du, Xiangpeng Yang, Qilong Wu, Zhen Li, Peng Gao, Harry Yang, Steven Hoi

Published: 2026-05-06

Categories: cs.CV

Abstract:

The landscape of high-performance image generation models is currently shifting from the inefficient multi-step ones to the efficient few-step counterparts (e.g, Z-Image-Turbo and FLUX.2-klein). However, these models present significant challenges for directly continuous supervised fine-tuning. For example, applying the commonly used fine-tuning technique would compromises their inherent few-step inference capability. To address this, we propose D-OPSD, a novel training paradigm for step-distilled diffusion models that enables on-policy learning during supervised fine-tuning. We first find that the modern diffusion model where the LLM/VLM serves as the encoder can inherit its encoder's in-context capabilities. This enables us to make the training as an on-policy self-distillation process. Specifically, during training, we make the model acts as both the teacher and the student with different contexts, where the student is conditioned only on the text feature, while the teacher is conditioned on the multimodal feature of both the text prompt and the target image. Training minimizes the two predicted distributions over the student's own roll-outs. By optimized on the model's own trajectory and under it's own supervision, D-OPSD enables the model to learn new concept, style, etc. without sacrificing the original few-step capacity.

Analysis:

高性能图像生成模型正从低效的多步推理转向高效的少步生成（如Z-Image-Turbo）。然而，现有的监督微调（SFT）技术会损害其核心的少步推理能力。为此，我们提出了D-OPSD，一种用于少步扩散模型的在线自蒸馏训练范式。我们发现，基于LLM/VLM编码器的现代扩散模型继承了其编码器的上下文学习能力。据此，我们使模型在训练中同时扮演教师和学生角色：学生仅依赖文本特征，而教师则基于文本和目标图像的融合特征进行条件引导。训练过程在学生自身的生成轨迹上最小化两者的预测分布差异。D-OPSD实现了模型对新概念、风格的学习，同时完美保留了原有的少步推理能力。

• 驱动力：在保持少步扩散模型高效推理的前提下，实现对新概念和风格的持续微调。
• 痛点：传统SFT使用“离线数据分布”的标注进行监督，导致训练与少步推理的采样轨迹不匹配（distribution shift），破坏了模型原本精细调优的少步去噪动力学，导致生成质量退化。
• 核心直觉：利用现代扩散模型强大的多模态编码器（LLM/VLM）的上下文能力，构建一个“内部教师”，通过在线（on-policy）方式利用自身产生的轨迹进行自蒸馏，从而规避了外部奖励函数的设计需求。

• 流程总结：
  1. 双条件输入：对每个训练样本，分别获取仅包含文本特征的学生条件 $c_s$ 和包含文本+图像特征的教师条件 $c_t$。
  2. 在线采样：利用当前学生模型在推理阶段的少步采样器，生成一条去噪路径。
  3. 速度匹配：在采样轨迹的每一时刻，分别计算学生和教师对去噪速度的预测。
  4. 损失优化：通过最小化学生与教师预测速度之间的均方误差（MSE），同时对教师预测施加梯度停止（stop-gradient），迫使学生向教师看齐。
• 模型结构：共享参数的扩散模型作为基础，通过EMA（指数移动平均）维护教师模型的权重，利用Qwen3-VL作为多模态特征提取器。
• 算法关键：公式 $L_{D-OPSD} = \mathbb{E}_{\hat{x} \sim \pi_s} |u_s - \text{sg}(u_t)|^2_2$ 是其核心，它本质上是在模型自身生成的轨迹上进行“教师强制”学习，无需人工奖励。

• 本质区别：D-OPSD将目标图像视作“上下文信息”而非“直接监督目标”，实现了从离线监督到在线轨迹自蒸馏的转换。
• 创新贡献：首次证明了少步扩散模型可以利用其内部编码器的上下文特性实现零奖励、在线化的持续微调。
• 适用场景：适用于所有基于LLM/VLM编码器的少步扩散模型，特别是缺乏复杂奖励模型环境的二次开发场景。

• 验证方法：在Z-Image-Turbo和FLUX.2-klein上进行LoRA微调与全参数微调实验。
• 关键结果：在保留原有推理速度与质量指标（Quality-S）的同时，显著提升了新概念的学习效果（DINO-D和VLM-J指标更优）。
• 优势：训练稳定，无需额外奖励模块，有效克服了传统SFT带来的“灾难性遗忘”与生成模糊问题。
• 局限：相比Vanilla SFT，计算成本增加（约4倍FLOPs，2倍时间），且高度依赖基础模型的多模态上下文编码能力。

• 开源/实现：项目已开源（https://vvvvvjdy.github.io/d-opsd）。
• 细节提醒：必须对教师模型使用EMA，且 momentum 系数需设得极高（如0.9999），以确保训练过程在高方差的在线采样下保持稳定。
• 迁移建议：若要迁移至其他模型，需确保其编码器具备将目标图像转化为有效条件特征的能力。

• 核心思想：利用模型上下文能力，通过在线轨迹自蒸馏，实现无损微调。
• 速记版pipeline：
  1. 准备多模态教师与文本学生。
  2. 让学生在推理路径上生成轨迹。
  3. 用教师的强条件预测作为监督。
  4. 最小化两者预测速度的偏差。
  5. 更新学生权重，同步更新教师EMA。

Key Findings:

• To address this, we propose D-OPSD, a novel training paradigm for step-distilled diffusion models that enables on-policy learning during supervised fine-tuning.
• By optimized on the model's own trajectory and under it's own supervision, D-OPSD enables the model to learn new concept, style, etc.

Links:

• PDF
• arXiv

---

Authors: Lakshita Dodeja, Ondrej Biza, Shivam Vats, Stephen Hart, Stefanie Tellex, Robin Walters, Karl Schmeckpeper, Thomas Weng

Published: 2026-05-06

Categories: cs.RO, cs.AI

Abstract:

Behavior Cloning (BC) has emerged as a highly effective paradigm for robot learning. However, BC lacks a self-guided mechanism for online improvement after demonstrations have been collected. Existing offline-to-online learning methods often cause policies to replace previously learned good actions due to a distribution mismatch between offline data and online learning. In this work, we propose Q2RL, Q-Estimation and Q-Gating from BC for Reinforcement Learning, an algorithm for efficient offline-to-online learning. Our method consists of two parts: (1) Q-Estimation extracts a Q-function from a BC policy using a few interaction steps with the environment, followed by online RL with (2) Q-Gating, which switches between BC and RL policy actions based on their respective Q-values to collect samples for RL policy training. Across manipulation tasks from D4RL and robomimic benchmarks, Q2RL outperforms SOTA offline-to-online learning baselines on success rate and time to convergence. Q2RL is efficient enough to be applied in an on-robot RL setting, learning robust policies for contact-rich and high precision manipulation tasks such as pipe assembly and kitting, in 1-2 hours of online interaction, achieving success rates of up to 100% and up to 3.75x improvement against the original BC policy. Code and video are available at https://pages.rai-inst.com/q2rl_website/

Analysis:

行为克隆（BC）已成为机器人学习中的一种高阶范式，但在收集演示数据后，它缺乏一种自我指导的在线改进机制。现有的离线到在线（offline-to-online）学习方法，由于离线数据与在线交互之间存在分布失配，往往会导致策略丢失先前学习到的良好动作。本文提出了 Q2RL（Q-Estimation and Q-Gating from BC for Reinforcement Learning），这是一种高效的离线到在线学习算法。该方法包含两部分：(1) Q-Estimation，通过少量环境交互步骤从BC策略中提取Q函数；(2) Q-Gating，基于Q值切换BC策略与强化学习（RL）策略的动作，以此收集样本用于RL策略训练。在D4RL和robomimic基准测试中，Q2RL在成功率和收敛时间上优于现有的离线到在线学习基线。Q2RL高效且适用于在机器人上进行在线RL，能在1-2小时的交互内学习到接触丰富的高精度操纵策略，成功率高达100%，相比原始BC策略提升了3.75倍。

---

• 驱动力：作者旨在解决“如何利用已有的离线BC策略，在不破坏其既有能力的前提下，通过在线交互实现进一步性能提升”的问题。
• 现有方法痛点：现有方法通常需要大量的离线数据进行预训练（Offline RL），或者在在线微调时容易产生“灾难性遗忘”（即覆盖掉好的BC行为），同时由于缺乏有效的引导机制，在线RL初始阶段的随机探索往往导致安全性问题。
• 研究假设：如果能够从预训练的BC策略中估计出Q值，就可以将其作为在线RL的“安全护栏”和“初始指导”，通过门控机制（Gating）动态选择动作，既能保留BC的先验知识，又能利用RL进行更优的探索。

---

• 流程pipeline：
  1. Q-Estimation：收集少量BC策略的在线交互数据，利用蒙特卡洛回报训练一个Q估计器。利用BC策略本身提供的动作对数概率（log-probability）和熵（entropy），基于Boltzmann分布推导出Q值函数公式：$\hat{Q}{BC} = V{BC}(s) + \alpha \log \pi_{BC}(a|s) + \alpha H[\pi_{BC}(\cdot|s)]$。
  2. Q-Gating：在RL训练过程中，维护两个Q函数：冻结的$\hat{Q}{BC}$（代表BC策略的价值）和可学习的$Q{RL}$（代表RL的改进价值）。
  3. 动作执行与训练：在每一步交互中，根据公式 $a = \text{argmax}{a \in {a{BC}, a_{RL}}} (\hat{Q}{BC}, Q{RL})$ 选择价值更高的动作执行，并将转换样本存入缓冲区以更新$Q_{RL}$和策略。
• 模型结构：该方法的核心是“提取先验+动态门控”。它利用BC策略的分布参数直接估计价值，无需重新标注数据。

---

• 本质区别：与Residual RL（残差学习）相比，Q2RL不强加残差动作限制，允许RL探索完全不同于BC的动作空间；与IBRL相比，Q2RL通过明确的Q值估计而非随机初始化的评论家来指导选择，收敛更稳。
• 创新贡献：提出了一种无需访问原始训练数据即可从任意黑盒BC策略中提取价值函数的方法，并引入了基于Q值的门控机制，有效平衡了继承与超越。
• 适用场景：适用于机器人 manipulation 任务（如装配、抓取），特别是对安全性要求高、且离线数据有限的场景。

---

• 验证方法：在D4RL仿真环境和Franka机器人真实场景下，与CQL、CalQL、WSRL、IBRL等SOTA基线对比。
• 关键结论：Q2RL在没有离线数据 seeding 的情况下，依然能通过Q-Estimation保持良好初始性能，且在1-2小时内实现性能超越。
• 优势与局限：优势是收敛快、安全性高；局限是要求BC策略能够输出动作似然（即参数化分布），对扩散模型等隐式生成式策略支持需进一步扩展。

---

• 开源情况：代码和视频已开源（https://q2rl.rai-inst.com/）。
• 实现细节：对于高斯策略或GMM，需准确计算熵值；在线交互阶段的$V_{BC}$通过Monte Carlo计算，建议收集足够的样本以保证稳定性。
• 迁移可能：该方法高度通用，只要策略能提供 log_prob 和 entropy，即可直接迁移至其他机器人任务，甚至非机器人控制场景。

---

• 核心思想：利用BC策略先验提取Q值，通过动态门控实现策略的稳健进化。
• 速记版pipeline：
  1. 运行BC策略获取交互样本。
  2. 计算Q值估计器（Q-Estimation）。
  3. 冻结BC Q值，初始化RL Critic。
  4. 交互时比较BC与RL的Q值选择动作。
  5. 收集样本循环更新RL策略。

Key Findings:

• In this work, we propose Q2RL, Q-Estimation and Q-Gating from BC for Reinforcement Learning, an algorithm for efficient offline-to-online learning.
• Our method consists of two parts: (1) Q-Estimation extracts a Q-function from a BC policy using a few interaction steps with the environment, followed by online RL with (2) Q-Gating, which switches between BC and RL policy actions based on their respective Q-values to collect samples for RL policy training.
• Across manipulation tasks from D4RL and robomimic benchmarks, Q2RL outperforms SOTA offline-to-online learning baselines on success rate and time to convergence.

Links:

• PDF
• arXiv

---

Authors: Yunhan Yang, Chunshi Wang, Junliang Ye, Yang Li, Zanxin Chen, Zehuan Huang, Yao Mu, Zhuo Chen, Chunchao Guo, Xihui Liu

Published: 2026-05-06

Categories: cs.CV

Abstract:

Synthesizing physics-grounded 3D assets is a critical bottleneck for interactive virtual worlds and embodied AI. Existing methods predominantly focus on static geometry, overlooking the functional properties essential for interaction. We propose that interactive asset generation must be rooted in functional logic and hierarchical physics. To bridge this gap, we introduce PhysForge, a decoupled two-stage framework supported by PhysDB, a large-scale dataset of 150,000 assets with four-tier physical annotations. First, a VLM acts as a "physical architect" to plan a "Hierarchical Physical Blueprint" defining material, functional, and kinematic constraints. Second, a physics-grounded diffusion model realizes this blueprint by synthesizing high-fidelity geometry alongside precise kinematic parameters via a novel KineVoxel Injection (KVI) mechanism. Experiments demonstrate that PhysForge produces functionally plausible, simulation-ready assets, providing a robust data engine for interactive 3D content and embodied agents.

Analysis:

合成物理接地（Physics-Grounded）的3D资产是交互式虚拟世界和具身智能的关键瓶颈。现有方法主要关注静态几何，忽略了交互所必需的功能属性。我们提出，交互式资产的生成必须根植于功能逻辑和分层物理。为此，我们引入了PhysForge，一个由PhysDB（包含150,000个资产和四层物理标注的大规模数据集）支持的解耦两阶段框架。首先，一个VLM作为“物理架构师”来规划“分层物理蓝图”，定义材料、功能和运动学约束。其次，一个物理接地扩散模型通过一种新颖的运动体素注入（KineVoxel Injection, KVI）机制，在合成高保真几何的同时实现该蓝图。实验表明，PhysForge产生了功能合理、可仿真的资产，为交互式3D内容和具身智能体提供了稳健的数据引擎。

• 驱动力：为具身智能（如机器人）和交互式虚拟世界生成不仅“好看”（视觉逼真）而且“好用”（物理一致、可交互）的3D资产。
• 痛点：现有生成方法生成的是无功能的“空心壳”或缺乏运动学约束的静态几何，无法直接用于物理模拟。
• 核心假设：物体的结构是其物理功能的体现。通过先进行功能和物理逻辑的“规划”，再进行几何与运动学的“实现”，可以解决几何结构与物理交互属性不匹配的问题。

• 流程总结：
  1. VLM规划阶段：输入图像（可选Mask）和初步生成的3D体素。VLM通过特定的Codebook将结构分解为层级化的物理蓝图，包括零件边界框、层级关系、材料、功能标签及运动类型（旋转、固定等）。
  2. 运动体素注入（KVI）阶段：扩散模型生成几何的过程中，将运动学参数（原点、轴、极限）编码为“KineVoxel”，通过专用的运动学编码器与几何潜在空间拼接，在去噪过程中同步预测几何结构和精确的运动控制点。
• 关键公式：$L = E_{t,Z_0,c} [L_{geo} + \lambda_{kine} \cdot L_{kine}]$。其中 $L_{kine}$ 强制模型在扩散过程中不仅要优化形状一致性，还要精准拟合运动学空间分布。
• KVI机制：将运动学信息（关节轴、范围等）转化为可学习的潜在向量，通过拼接方式注入扩散模型的中间层，确保了运动学参数与几何形体的解耦 yet 同步生成。

• 区别：现有方法（如OmniPart）仅利用Mask进行零件分割，本质是视觉驱动。PhysForge引入了物理/功能驱动，即“先理解物理需求，再生成几何”。
• 创新：KineVoxel Injection机制解决了运动学参数（高精度、连续数值）与几何参数（高维扩散、离散表示）在扩散模型中难以联合训练的难题。
• 适用场景：机器人模拟环境（RoboTwin）、游戏开发、需要交互的数字资产生成。

• 验证方法：在PhysDB、PartObjaverse-Tiny、PhysXNet数据集上对比几何CD距离、F1-Score以及物理属性（功能标签、运动轴误差）的预测精度。
• 关键结论：物理引导的规划能显著降低资产生成的逻辑错误；即使在没有2D Mask的情况下，PhysForge也能通过物理约束生成结构合理的资产。
• 局限：对极度复杂或非典型物体的物理推理偶尔存在“幻觉”，且150k数据集规模虽大但仍难以覆盖长尾物种。

• 开源情况：官方代码库及项目页已公开（https://hku-mmlab.github.io/PhysForge/）。
• 实现要点：
  • 权重因子 $\lambda_{kine} = 10$ 对运动准确性至关重要。
  • VLM规划阶段的Special Token设计（, 等）是保持结构可控的关键。
• 迁移能力：该两阶段框架（规划+实现）高度模块化，可轻松替换底层的VLM（如从Qwen2.5-VL换成GPT-4o）或扩散主干，适用于任何需要“受控生成”的任务。

• 核心思想：通过分层物理蓝图解耦结构规划与几何/运动学实现。
• 速记版pipeline：
  1. 用大模型看图，写出一份含零件关系与运动功能的“说明书”。
  2. 将运动信息打包成“运动体素”嵌入扩散模型。
  3. 扩散模型结合说明书，同时生成零件外形和它们的关节逻辑。

Key Findings:

• We propose that interactive asset generation must be rooted in functional logic and hierarchical physics.
• To bridge this gap, we introduce PhysForge, a decoupled two-stage framework supported by PhysDB, a large-scale dataset of 150,000 assets with four-tier physical annotations.
• Second, a physics-grounded diffusion model realizes this blueprint by synthesizing high-fidelity geometry alongside precise kinematic parameters via a novel KineVoxel Injection (KVI) mechanism.

Links:

• PDF
• arXiv

---

Authors: Wei Li, Jizhihui Liu, Li Yixing, Junwen Tong, Rui Shao, Liqiang Nie

Published: 2026-05-06

Categories: cs.RO

Abstract:

Current Vision-Language-Action (VLA) models primarily focus on mapping 2D observations to actions, but exhibit notable limitations in spatiotemporal perception and reasoning: 1) spatial representations often rely on additional sensors, introducing substantial computational overhead; 2) visual reasoning is typically limited to future-frame prediction, lacking alignment with the instruction-grounded scene and thus compromising spatiotemporal consistency. To address these challenges, we propose ConsisVLA-4D, a unified and efficient framework that enhances spatiotemporal consistency in 3D perception and 4D reasoning. Specifically, we design: 1) CV-Aligner, which ensures cross-view object semantic consistency by filtering instruction-relevant regions and aligning object identities across multiple viewpoints; 2) CO-Fuser, which guarantees cross-object spatial geometric consistency by eliminating spatial relation ambiguities between objects across views using compact latent representations. Building upon these, we introduce 3) CS-Thinker to achieve cross-scene spatiotemporal consistency as actions unfold. It learns implicit knowledge of local dynamics from object-semantic tokens of CV-Aligner and global depth from geometric tokens of CO-Fuser, thereby enhancing efficient visual reasoning under scene variations. Extensive experiments demonstrate that, benefiting from its efficient spatiotemporal consistency design, ConsisVLA-4D achieves 21.6% and 41.5% performance improvements, along with 2.3-fold and 2.4-fold inference speedups compared to OpenVLA on the LIBERO benchmark and real-world platforms, respectively.ConsisVLA-4D is open-sourced and publicly available at

Analysis:

当前视觉-语言-动作（VLA）模型主要专注于将2D观测映射为动作，但在时空感知和推理方面存在局限：1）空间表示通常依赖额外传感器，导致计算开销巨大；2）视觉推理往往局限于未来帧预测，缺乏与指令引导场景的对齐，从而损害了时空一致性。为了解决这些挑战，我们提出了 ConsisVLA-4D，这是一个统一且高效的框架，旨在增强3D感知和4D推理中的时空一致性。具体而言，我们设计了：1）CV-Aligner，通过过滤指令相关区域并跨多视角对齐对象身份，确保跨视角对象语义一致性；2）CO-Fuser，利用紧凑的潜在表示消除跨视角空间关系歧义，从而保证跨对象空间几何一致性。在此基础上，我们引入了3）CS-Thinker，通过CV-Aligner的对象语义标记和CO-Fuser的几何标记学习局部动态和全局深度，实现动作执行过程中的跨场景时空一致性。实验表明，得益于高效的时空一致性设计，ConsisVLA-4D在LIBERO基准和真实世界平台上分别实现了21.6%和41.5%的性能提升，以及2.3倍和2.4倍的推理加速。

• 驱动力：解决VLA模型在复杂动态场景下，因缺乏空间理解和时空一致性导致动作不稳定及计算开销大的问题。
• 现有方法痛点：2D-to-3D映射能力不足（导致错位），利用3D传感器（如激光雷达）导致计算开销过大，且现有推理仅停留在单帧或未来帧预测，缺乏对动态场景演进的理解。
• 研究假设：通过在感知阶段引入语义与几何对齐，并在推理阶段引入隐含的“动态与深度知识”，可以实现高效且具有强时空一致性的机器人控制。

• 流程总结：
  1. 感知增强（CV-Aligner & CO-Fuser）：输入多视角（M, L, R）图像，先通过CV-Aligner提取指令相关的关键对象，再利用CO-Fuser通过组融合（Group-Fusion）和隐式几何关系聚合，将原始输入压缩至1/8至1/12，滤除冗余。
  2. 时空推理（CS-Thinker）：利用SC-Attn模块，将感知到的语义和几何信息与“学习到的隐式知识”结合，进行4D推理（感知+预测未来状态）。
  3. 动作执行：通过并行解码器输出动作块，直接生成稳定控制信号。
• 关键模块：
  • CV-Aligner：通过FiLM调制语义对齐，并使用Top-K选择机制保留指令相关token。
  • CO-Fuser：设计了随层数余弦衰减的几何权重$\alpha_l$，平衡了先验几何信息与模型学习特征，保证空间几何一致性。
  • CS-Thinker：通过初始化动态和深度tokens，在训练中学习环境隐式知识，推理时无需显式生成3D结构，大幅降低推理延迟。

• 本质区别：与现有大模型直接将原始图像输入不同，本文通过设计高效的“感知-推理-对齐”架构，在保留核心空间信息的同时，剔除了约87.5%的冗余视觉token。
• 创新点：引入了4D推理范式（将3D感知扩展到随时间演进的动态场景）及模块化一致性约束（跨视角、跨对象、跨场景）。

• 关键结果：在LIBERO benchmark上达到98.1%的平均成功率，在真实世界双臂任务中表现出极强的鲁棒性和实时性（108.2 Hz的吞吐量）。
• 主要优势：不仅大幅提升成功率，还实现了2.3倍以上的推理加速，证明了“稀疏化+一致性设计”是未来嵌入式AI的关键路径。
• 主要局限：对预训练的视觉编码器（SigLIP, DINOv2, VGGT）依赖性强，需要精细调优以保证特征对齐。

• 开源情况：已开源，参考项目地址：https://github.com/JiuTian-VL/ConsisVLA-4D。
• 训练细节：使用4× A800 GPUs；采用LoRA微调（rank=32, $\alpha=64$）；保持CS-Thinker与感知模块的紧密耦合训练。
• 迁移可能：该框架的CV-Aligner和CO-Fuser模块可作为通用视觉插件，迁移至其他需要多视角融合的机器人任务中。

• 核心思想：通过语义/几何协同稀疏化与隐式时空推理，实现高效的机器人4D操控。
• 速记版pipeline：
  1. 多视角过滤：筛选指令相关的关键语义区域；
  2. 几何融合：聚合多视角空间关系并压缩token；
  3. 时空推理：利用隐式知识预测环境演变；
  4. 并行解码：根据动态信息生成控制动作。

Key Findings:

• To address these challenges, we propose ConsisVLA-4D, a unified and efficient framework that enhances spatiotemporal consistency in 3D perception and 4D reasoning.
• Building upon these, we introduce 3) CS-Thinker to achieve cross-scene spatiotemporal consistency as actions unfold.

Links:

• PDF
• arXiv

---

Authors: Andranik Sargsyan, Shant Navasardyan

Published: 2026-05-06

Categories: cs.CV

Abstract:

Accurate image segmentation is essential for modern computer vision applications such as image editing, autonomous driving, and medical image analysis. In recent years, Dichotomous Image Segmentation (DIS) has become a standard task for training and evaluating highly accurate segmentation models. Existing DIS approaches often fail to preserve fine-grained details or fully capture the semantic structure of the foreground. To address these challenges, we present FlowDIS, a novel dichotomous image segmentation method built on the flow matching framework, which learns a time-dependent vector field to transport the image distribution to the corresponding mask distribution, optionally conditioned on a text prompt. Moreover, with our Position-Aware Instance Pairing (PAIP) training strategy, FlowDIS offers strong controllability through text prompts, enabling precise, pixel-level object segmentation. Extensive experiments demonstrate that our method significantly outperforms state-of-the-art approaches both with and without language guidance. Compared with the best prior DIS method, FlowDIS achieves a 5.5% higher $F_β^ω$ measure and 43% lower MAE ($\mathcal{M}$) on the DIS-TE test set. The code is available at: https://github.com/Picsart-AI-Research/FlowDIS

Analysis:

作为计算机视觉和机器学习领域的专家，我对 FlowDIS 这篇论文的分析如下：

FlowDIS 提出了一种基于**流匹配（Flow Matching）**框架的二分类图像分割（DIS）方法，旨在解决传统方法在处理精细细节和语义结构保持方面的不足。通过引入文本条件引导和创新的训练策略，该模型实现了像素级的精确分割，并在基准测试中显著提升了分割质量和度量指标（$F_\beta^\omega$ 和 MAE）。

• 基于流匹配（Flow Matching）的生成框架：这是该方法的核心。不同于传统的判别式分割网络，FlowDIS 将图像分割转化为一种“分布传输”问题——学习一个时间依赖的向量场，将输入图像分布转换为对应的掩码（Mask）分布。这种生成式视角能更好地捕捉数据分布的复杂几何结构。
• 位置感知实例配对（PAIP, Position-Aware Instance Pairing）：这是该论文的训练策略创新。通过显式地将空间位置信息与实例特征进行配对训练，极大地增强了模型对文本提示的响应能力，实现了更强的语义控制力和对边缘细节的解析能力。

• 分割范式的转变：它展示了生成式模型（尤其是流匹配）在判别式任务（如分割）中的巨大潜力。这可能预示着计算机视觉领域正从传统的 CNN/Transformer 判别式架构转向更具表现力的生成式/基于场的架构。
• 性能提升的显著性：在 DIS-TE 测试集上将 MAE 降低 43%，这是一个非常显著的指标飞跃。这表明该方法成功突破了现有判别式模型在“精细细节提取”上的瓶颈，对于需要高保真度分割的工业场景具有极高的参考价值。

• 图像与视频编辑：结合文本引导，FlowDIS 可以实现精确的抠图，直接服务于 Photoshop 类工具或生成式 AI 的图像合成流水线。
• 医疗影像分析：医疗影像对病灶边缘的精度要求极高，FlowDIS 处理精细结构的能力可以显著提升病灶分割的准确性。
• 自动驾驶：在处理复杂的道路环境（如细长的杆状物、复杂的植被边缘）时，该方法提供的像素级精度能够提升环境感知的可靠性。
• 多模态交互：该方法进一步拓宽了“文本-视觉”交互的边界，使模型能够通过自然语言指令完成高度定制化的视觉分割任务。

• 推理延迟（Inference Latency）：流匹配模型通常需要迭代求解常微分方程（ODE）来生成结果，相比于传统的单次前向（Single-pass）神经网络，FlowDIS 在推理速度上可能存在劣势，这在实时性要求极高的场景（如自动驾驶）中可能需要优化。
• 对训练计算资源的需求：流匹配框架的训练通常比标准分割网络更消耗显存和算力，且对训练数据的分布对齐要求更高。
• 泛化能力限制：尽管在 DIS-TE 上表现优异，但生成式方法往往容易在分布外（OOD）场景下产生不符合语义逻辑的“幻觉”边缘，这一点在高度依赖准确性的分割任务中需要谨慎对待。

---

专家点评： FlowDIS 最有趣的地方在于它将“生成式流建模”成功引入到了“判别式分割”任务中。这不仅是一个指标上的提升，更代表了当前视觉领域的一个重要趋势：利用生成模型的强建模能力来解决判别模型难以处理的精细几何结构问题。对于从事分割任务的研究者来说，这是一个非常值得关注的架构创新。

Key Findings:

• To address these challenges, we present FlowDIS, a novel dichotomous image segmentation method built on the flow matching framework, which learns a time-dependent vector field to transport the image distribution to the corresponding mask distribution, optionally conditioned on a text prompt.
• Extensive experiments demonstrate that our method significantly outperforms state-of-the-art approaches both with and without language guidance.

Links:

• PDF
• arXiv

---

Authors: Yuan Wu, Zhiqiang Yan, Jiawei Lian, Zhengxue Wang, Jian Yang

Published: 2026-05-06

Categories: cs.CV

Abstract:

3D occupancy prediction aims to infer dense, voxel-wise scene semantics from sensor observations, where the 2D-to-3D view transformation serves as a crucial step in bridging image features and volumetric representations. Most previous methods rely on a fixed projection space, where 3D reference points are uniformly sampled along pillars. However, such sampling struggles to capture the sparsity and height variations of real-world scenes, leading to ambiguous correspondences and unreliable feature aggregation. To address these challenges, we propose HiPR, a camera-LiDAR occupancy framework with Height-Guided Projection Reparameterization. HiPR first encodes LiDAR into a BEV height map to capture the maximum height of the point cloud. HiPR then adjusts the sampling range of each pillar using the height prior, enabling adaptive reparameterization of the projection space. As a result, the projected points are redistributed into geometrically meaningful regions rather than fixed ranges. Meanwhile, we mask out the invalid parts of the height map to avoid misleading the feature aggregation. In addition, to alleviate the training instability caused by noisy LiDAR-derived heights, we introduce a training-time Progressive Height Conditioning strategy, which gradually transitions the conditioning signal from ground-truth heights to LiDAR heights. Extensive experiments demonstrate that HiPR consistently outperforms existing state-of-the-art methods while maintaining real-time inference. The code and pretrained models can be found at https://github.com/Rayn-Wu/HiPR.

Analysis:

3D占用预测旨在通过传感器观测推断密集的体素级场景语义，其中2D到3D的视角转换是连接图像特征与体素表示的关键步骤。大多数现有方法依赖于固定的投影空间，即沿柱体（pillars）均匀采样3D参考点。然而，这种采样方式难以捕捉现实世界场景的稀疏性和高度变化，导致对应关系模糊且特征聚合不可靠。为解决这些挑战，我们提出了HiPR，一种具有高度引导投影重参数化功能的相机-LiDAR占用预测框架。HiPR首先将LiDAR编码为BEV高度图以捕捉点云的最大高度；随后，HiPR利用该高度先验调整每个柱体的采样范围，从而实现投影空间的自适应重参数化。结果，投影点被重新分布到几何上有意义的区域，而非固定的采样范围。同时，我们掩蔽掉高度图中无效的部分，以避免误导特征聚合。此外，为缓解由噪声LiDAR高度引起的训练不稳定性，我们引入了训练时的渐进式高度调节（Progressive Height Conditioning）策略，该策略将调节信号从真实高度逐渐过渡到LiDAR高度。大量实验表明，HiPR在保持实时推理的同时，性能始终优于现有的最先进方法。

• 驱动力：打破固定3D投影空间对场景几何先验的忽略，实现根据场景结构动态调整特征采样。
• 现有方法痛点：以往基于BEVFormer的固定柱体投影，在稀疏或复杂高度场景中会导致采样点落在空旷区域（如天空）或误匹配对象，造成语义对齐失效和计算冗余。
• 研究假设：通过引入LiDAR的高度图先验，对3D投影空间进行重参数化，可以强制网络关注物体实际高度范围内的几何结构，从而显著提升特征提取的精确度。

• 核心 Pipeline：
  1. BEV 特征提取：标准的2D图像编码器（ResNet）结合LSS视角转换生成初始BEV查询（$F_{BEV}$）。
  2. LiDAR 高度编码：将LiDAR点云体素化并提取每个BEV格点的最大高度，生成$H_{lidar}$。
  3. 渐进式高度调节 (PHC)：在训练过程中通过公式 $\hat{H} = \psi(H_{lidar}, H_{gt}, \rho(e))$，以余弦退火策略动态混合真值（GT）与LiDAR高度，确保训练前期稳定，后期适配噪声输入。
  4. 高度引导重参数化 (HGR)：利用得到的 $\hat{H}$ 动态调整 $N_z$ 个参考点的采样位置 $z_j$；同时，若BEV格点无高度信息，利用掩码 $M$ 直接舍弃该柱体的计算。
• 算法本质：将固定的等间距采样 $z_j = z_{min} + \alpha_j(z_{max}-z_{min})$ 修正为受高度约束的采样 $z_j = z_{min} + \alpha_j(\hat{H}-z_{min})$。

• 本质区别：从“静态、全局统一”的投影方式转变为“动态、场景感知”的重参数化采样，是显式引入几何结构先验。
• 创新贡献：提出HGR（高度引导重参数化）和PHC（渐进式高度调节），巧妙结合了LiDAR的强先验与渐进式训练策略以抗噪。
• 适用场景：任何使用BEV查询（Query-based）的3D感知模型（如BEVFormer、FB-Occ等），均可作为插件提升精度。

• 关键结果：在Occ3D数据集上，HiPR相较于基线显著提升了mIoU（例如在ALOcc-2D-mini上提升约3.1个点），且在实时推理场景下表现优异。
• 主要优势：几何对齐精准，特征聚合更集中，减少了背景噪声影响，插件式设计通用性强。
• 主要局限：高度先验过于依赖LiDAR，在远处传感器稀疏区域性能可能下降；单一高度图难以处理复杂的多层垂直结构。

• 开源情况：代码已发布在 https://github.com/Rayn-Wu/HiPR。
• 实现细节：PHC模块的余弦退火策略（$\rho(e)$）对于训练收敛至关重要；HGR层数建议设为3层。
• 迁移可能：可直接替换现有BEVFormer类算法中的采样模块，无需大改整体架构，极易迁移到自动驾驶场景下的各类占用预测任务。

• 核心思想：利用LiDAR高度图引导3D采样空间，实现对几何结构的精准对齐。
• 速记版 Pipeline：
  1. 提取BEV特征与LiDAR高度图。
  2. 训练时通过PHC平滑引入高度先验。
  3. 根据高度动态调整3D空间采样点。
  4. 掩蔽无效区域，聚合有效语义特征。

Key Findings:

• To address these challenges, we propose HiPR, a camera-LiDAR occupancy framework with Height-Guided Projection Reparameterization.
• In addition, to alleviate the training instability caused by noisy LiDAR-derived heights, we introduce a training-time Progressive Height Conditioning strategy, which gradually transitions the conditioning signal from ground-truth heights to LiDAR heights.
• Extensive experiments demonstrate that HiPR consistently outperforms existing state-of-the-art methods while maintaining real-time inference.

Links:

• PDF
• arXiv

---

Authors: Minh Anh Nguyen, Quang Huy Tran, Bao Ngoc Le, SuiYang Guang, Tuan Kiet Pham, Linh Chi Vo

Published: 2026-05-06

Categories: cs.CV

Abstract:

Open-vocabulary human-object interaction (HOI) detection requires recognizing interaction phrases that may not appear as annotated categories during training. Recent vision-language HOI detectors improve semantic transfer by matching human-object features with text embeddings, but their predictions are often dominated by object affordance and phrase-level co-occurrence. As a result, a model may predict \textit{cut cake} from the presence of a knife and a cake without verifying whether the hand, tool, target, contact pattern, and object state jointly support the action. We propose \textbf{ScriptHOI}, a structured framework that represents each interaction phrase as a soft scripted state transition. Rather than treating a phrase as a single class token, ScriptHOI decomposes it into body-role, contact, geometry, affordance, motion, and object-state slots. A visual state tokenizer parses each detected human-object pair into corresponding state tokens, and a slot-wise matcher estimates both script coverage and script conflict. These two quantities calibrate HOI logits, expose missing visual evidence, and provide training constraints for incomplete annotations. To avoid suppressing valid but unannotated interactions, we further introduce interval partial-label learning, which constrains unannotated candidates with script-derived lower and upper probability bounds instead of assigning closed-world negatives. A counterfactual script contrast loss swaps individual script slots to discourage object-only shortcuts. Experiments on HICO-DET, V-COCO, and open-vocabulary HOI splits show that ScriptHOI improves rare and unseen interaction recognition while substantially reducing affordance-conflict false positives.

Analysis:

这是一份关于论文《ScriptHOI: Learning Scripted State Transitions for Open-Vocabulary Human-Object Interaction Detection》的深度分析。

开放词汇人机交互（HOI）检测需要识别训练集中未出现的交互短语。尽管现有的视觉-语言模型通过匹配人-物特征与文本嵌入改进了语义迁移，但其预测常受限于物体本身的可供性（Affordance）和短语共现统计，缺乏对动作实施细节（如手部、工具、接触模式）的验证。本文提出了 ScriptHOI，一种将交互短语建模为“软脚本状态转换”的结构化框架。它将交互分解为身体角色、接触、几何、可供性、运动和物体状态等槽位（slots）。通过视觉状态标记器解析交互，并利用槽位匹配器计算覆盖度和冲突度，从而校准HOI概率。此外，作者引入了区间部分标签学习以处理不完整标注，并利用反事实脚本对比损失抑制虚假相关性。实验证明，ScriptHOI在罕见和未见交互识别上表现优异，并显著降低了 affordance 导致的误报。

• 驱动力：打破“物体共现即交互”的逻辑误区，赋予HOI检测系统对“交互动作过程”的细粒度验证能力。
• 现有方法痛点：主流方法将HOI视为单标签分类，仅依赖全局特征匹配，无法区分“使用刀切蛋糕”和“刀在桌上蛋糕在旁边”的视觉差异。
• 研究假设：HOI动作可以通过一组可微分的、结构化的视觉状态转换脚本来描述，通过验证这些状态槽位，可以有效排除视觉证据不足的误报。

• 流程总结：
  1. 视觉解析（Visual State Tokenization）：利用Transformer将人-物对特征映射为6个关键槽位（身体部位、接触、几何布局、可供性、运动、状态）。
  2. 脚本解析（Interaction Script Parsing）：将输入的短语通过语言模型转化为对应的脚本槽位分布（Soft distributions）。
  3. 匹配与校准（Script-State Matching）：通过槽位间的语义相似度计算覆盖度（Coverage $\Gamma$）和冲突度（Conflict $\Delta$），用它们校准基础分类器的Logits。
  4. 不完整标签处理（Interval Partial-label Learning）：将未标注候选设定为概率上下界，而非简单的负样本。
• 算法解释：关键在于**覆盖度（Coverage）与冲突度（Conflict）**的计算。通过计算预测槽位与视觉提取槽位的相似度，如果某个脚本关键槽位（如“接触”）与视觉特征完全不匹配，冲突分数会增大，从而在最终打分中减去该项，实现对“物体虚假关联”的惩罚。

• 本质区别：从传统的“全局特征-标签匹配”转向“语义槽位-视觉状态对齐”。
• 创新贡献：首次引入“脚本”概念解析交互动作，通过反事实对比和区间学习解决了HOI数据集标注不完整及模型“只认物体不认动作”的问题。
• 适用场景：复杂场景下的交互识别，尤其是零样本（Zero-shot）和少样本类别，以及对交互精细度要求极高的任务。

• 关键结论：在HICO-DET数据集上，ScriptHOI在Rare（罕见类别）的mAP提升最为显著，Affordance-conflict误报率大幅降低。
• 核心优势：极佳的泛化能力，能够通过脚本组成处理从未见过的动词与物体的组合。
• 主要局限：脚本解析对于高度抽象动作（如“检查”、“准备”）的推理依赖上下文，且对多人、重叠严重场景下的位姿估计精度非常敏感。

• 实现细节：Pose tokens的缓存处理是训练加速的关键。在构建脚本时，建议从常见动词出发，通过Caption-mined进行扩展。
• 迁移可能：该思路完全可以迁移到视频动作识别或三维场景下的交互推理中，只需将视觉Token改为时序特征。

• 核心思想：将交互视为由多维度视觉槽位组成的动态状态转换过程。
• 速记版Pipeline：
  1. 将视频图像转为多维度状态Token；
  2. 将交互动词转为脚本需求配置；
  3. 通过槽位匹配，校验视觉动作细节；
  4. 排除冲突证据，锁定真实交互。

Key Findings:

• We propose \textbf{ScriptHOI}, a structured framework that represents each interaction phrase as a soft scripted state transition.

Links:

• PDF
• arXiv

---