2026 年 6 月 5 日，在丹佛举行的 CVPR 2026 欢迎与颁奖活动上，D4RT 获得最佳论文奖。这项由 Google DeepMind、牛津大学和伦敦大学学院（UCL）研究者完成的工作，尝试用同一个模型从视频恢复场景的三维结构及其随时间的变化，并通过按需查询减少重建开销。
D4RT 获最佳论文，本届共接收 4089 篇投稿
根据会议官方数据，CVPR 2026 共收到 16,092 篇投稿，较 2025 年增长 24%，最终接收 4,089 篇，接收率约 25.4%。会议还安排了 153 场专题研讨、19 场教程和 28 项演示。
本届有 74 篇论文进入奖项候选名单，D4RT 获最佳论文，另一篇三维生成研究获最佳学生论文。程序委员会联合主席、伊利诺伊大学厄巴纳-香槟分校的 Alexander G. Schwing 对获奖工作的评价集中在动态重建与三维生成两方面。
Schwing 表示，这些工作推动了动态场景重建和三维生成建模，既处理计算机视觉的基础问题，也为机器人等应用提供新的可能。
从视频还原场景，需要区分物体运动与相机运动
4D 重建中的第四个维度是时间：系统既要估计物体在哪里，也要追踪它如何移动。
给定一段普通视频，模型需要估计场景中某个点在不同时间的三维位置。这涉及几个相互依赖的任务：深度估计说明像素对应的物体有多远，时空对应寻找不同帧中的同一个点，相机参数估计则帮助区分拍摄视角变化与物体本身的运动。
一种常见做法是分阶段处理：先通过运动恢复结构（SfM）估计相机位姿，再用多视角立体匹配（MVS）恢复深度，并结合光流或追踪方法处理运动。多个模块的输出需要对齐，误差也可能沿流程传递；移动物体还会使静态场景假设失效。
分阶段设计需要明确处理模块之间的一致性。不同任务能够通过约束或联合优化交换信息，但这会增加系统复杂度。D4RT 选择让它们共用视频表征，减少单独模型和解码模块的衔接。
编码一次视频，再按需查询三维位置
D4RT 的关键设计，是将多种几何任务转成对三维位置的查询。相同的视频编码结果，可以用于恢复深度、追踪点的运动和估计相机参数。
模型采用编码器—解码器 Transformer 架构。编码器先提取视频的全局场景表征，结合帧内和跨帧信息；轻量解码器再通过交叉注意力读取这份表征，回答指定位置的查询。
每次查询需要指定源帧中的像素位置、目标时间，以及输出所使用的相机参考坐标系。例如，可以询问某一帧中看到的一个点，在稍后时刻位于哪里。目标时间与参考视角可以分别选择，因此同一接口既能追踪运动，也能把点放到共同坐标系中。
这样的接口有三项直接作用：
- 复用视频表征：多个任务读取同一份几何与运动特征，减少重复编码。
- 按需选择查询量：可以只追踪少数点，也可以逐批增加查询，恢复更稠密的场景。减少查询主要节省解码开销，视频编码仍要完成。
- 减少专用模块：深度和点轨迹可从位置查询中得到，相机参数则通过相应几何计算恢复，无须为每种任务另设一个大模型。
例如，改变目标时间可以得到点的轨迹；让源帧、目标时间和参考视角一致，可以从输出的深度坐标生成深度图。相机位姿则要通过对齐同一组点在不同参考系中的坐标，进一步计算得到。
点追踪吞吐量明显提高，速度取决于具体任务
D4RT 采用前馈推理，不必为每段新视频重新优化模型参数。它的速度收益来自轻量查询和并行解码，也来自减少稠密追踪中的重复查询。
部分既有方法需要在测试时反复优化场景或细化轨迹，处理视频较慢。D4RT 先编码视频，再根据点的数量分批查询结果。
论文在单张 A100 GPU 上比较了指定帧率下能产生多少条完整三维轨迹，报告 D4RT 的点追踪吞吐量为对比方法的 18—300 倍。相机位姿估计另有超过 200 FPS 的结果。DeepMind 博客还给出一个示例：单颗 TPU 约 5 秒处理一分钟视频，此前方法可能需要约 10 分钟。这些数字对应不同任务，不能混作一种通用速度。
论文在点云、深度、点追踪和相机位姿等多组基准中表现领先，但并非每个数据集、每项指标都最佳。相比主要面向静态多视角几何的 VGGT，D4RT 明确建模动态对应关系，能在所展示场景中更完整地恢复运动物体。
DeepMind、牛津与 UCL 研究者共同参与
论文共有 14 位作者，机构包括 Google DeepMind、牛津大学和 UCL。
第一作者 Chuhan Zhang 推动了模型实验，并与 Guillaume Le Moing、Ignacio Rocco 和 Mehdi S. M. Sajjadi 等人参与核心设计。论文贡献说明中，Sajjadi 负责项目领导；其他合著者还包括 Skanda Koppula、Liliane Momeni、Junyu Xie、Shuyang Sun、Rahul Sukthankar、Joëlle K. Barral、Raia Hadsell、Zoubin Ghahramani、Andrew Zisserman 和 Junlin Zhang。
项目页将 Junyu Xie 的贡献标注为在 DeepMind 实习期间完成。公开的分工涵盖模型设计、数据构建、系统实现、实验评估和研究指导。
公开论文和演示之后，社区还需要代码与权重
获奖之外，实际使用者还需要知道：公开材料能否支持独立复现，模型能否用于自己的视频。
项目页提供论文、技术说明、视频和交互式重建演示。代码与权重是否开放，直接关系到外部团队能否运行同一个模型。展示重建结果有助于理解方法，但不能替代独立推理和测试。
复现还需要训练资料、预处理方法和运行配置。论文说明其训练使用了公开与内部数据集，这也会影响外部团队重做训练的条件。对于机器人等下游应用，能否获得模型、测出自己的延迟和失败案例，比单看论文图中的结果更有实际意义。
因此，评估研究进展与评估可部署产品需要不同的材料。论文可以说明架构和实验，部署者则还需要实现、模型文件及测试工具，以确认自己的设备和场景是否适用。
共用场景表征，减少多个视觉模型的衔接
D4RT 也延续了计算机视觉研究中一个方向：让多个相关任务共用模型与表征。
深度、相机运动和物体轨迹描述的是同一段视频，但输出形式不同。分别设计系统便于针对单项任务优化，也增加了对齐和维护工作。用统一接口处理这些输出，可以减少部分重复计算和接口转换。
D4RT 展示了这种统一方式在多项几何任务中的效果。其优势尤其体现在可以独立选择查询点，并用相同解码器处理静止和移动物体；仍需结合每项任务的准确率与耗时判断收益。
机器人导航需要场景结构与运动信息，自动驾驶需要估计周围物体和自身运动，AR/VR 则需要把虚拟内容与现实视角对齐。它们都可能使用此类几何预测，但也各有传感器、延迟、可靠性和算力限制。研究中的重建能力，还需接入具体系统验证。
前馈推理减少了针对新场景反复优化的需要，有助于降低等待时间。处理完整视频较快，仍不代表模型能只用已经到达的帧持续工作。接入实时设备时，还需要设计如何更新场景信息，并测试相应延迟。
用于机器人和 AR，还需验证真实环境表现
D4RT 当前主要从已有视频中恢复几何与运动信息。重建结果可以帮助后续系统分析场景，但模型还没有因此完成物理规律学习、行动规划或安全控制。
物理约束、语义信息和其他传感器都是可能的后续研究方向。例如，引入 LiDAR 或事件相机，需要重新设计输入、训练数据与评估；扩展查询内容，也要验证是否仍能保持准确性和速度。这些设想超出了本文已经验证的核心能力。
D4RT 的贡献在于用较简洁的查询机制，连接了视频中的深度、轨迹和相机信息。下一步更值得观察的是它在不同视频、硬件和应用条件下能否保持效果，以及公开材料能否让更多团队验证和使用这一方法。
