英伟达新方法入选CVPR 2023：对未知物体的6D姿态追踪和三维重建-德赢Vwin官网网

普通手机“随手”拍的雕像，一下就变成了精细的三维重建图。

水杯来回动的动态场景下，细节清晰可见：

静态场景效果也同样nice，狗狗突出的肋骨都被还原了出来：

对比来看其他方法，效果是酱婶的……

这就是英伟达最新提出的方法BundleSDF。

这是一种可对未知物体的6D姿态追踪和三维重建的方法。

用于从单目RGBD视频序列中跟踪未知物体的6自由度运动，同时进行物体的隐式神经三维重建，方法接近于实时（10Hz）。

这种方法适用于任意刚性物体，即使视觉纹理大部分确实，仅需在第一帧中分割出物体，不需要任何额外的信息，并且不对智能体与物体的交互模式做任何假设。

目前，该方法已被CVPR 2023接收。

可处理大幅度姿态变化、有遮挡视频

该方法的关键是一个神经物体场，它与姿态图优化过程同时进行，以便将信息稳健地累积到一致的3D表示中，捕捉几何和外观。

方法自动维护了一组动态的姿态内存帧，以便这些线程之间进行通信。

它能处理具有大幅度姿态变化、部分和完全遮挡、无纹理表面和高光反射等具有挑战性的视频。

作者展示了HO3D、YCBInEOAT和BEHAVE数据集上的结果，证明了我们的方法显著优于现有方法。

野外测试

用于iPhone 12 Pro Max的效果：

用于Intel RealSense的效果：

该方法不仅适用于更具挑战性的动态场景，还适用于此前经常被考虑的静态场景（移动相机）。

因此实现了比专门设计用于静态场景的那些方法更好或相当的结果（即文章开头展示动图）。

与SOTA对比

HO3D数据集上三种最具竞争力方法的定性比较。

左图：6自由度姿态跟踪可视化，其中轮廓（青色）以估计的姿态渲染。

值得注意的是，如第二列所示，我们的预测姿态有时甚至会纠正GT的错误。

右图：每种方法输出的最终3D重建的正面和背面视图。

由于手部遮挡，视频中的某些部分永远不可见。虽然从相同的视角渲染网格，但是DROID-SLAM和BundleTrack的显著漂移导致网格错误旋转。

定量结果对比如下：

问题设置

给定一段单目RGBD输入视频以及仅在第一帧中目标物体的分割掩码，该方法能持续追踪物体的6-DoF姿态并重建物体的3D模型。

所有处理都是在线自回归的（没有假设未来帧可用）。

处理的物体是刚性的，但不依赖其特定丰富的纹理 - 方法适用于无纹理的物体。

此外，不需要物体的实例级CAD模型，也不需要物体类别的先验知识（例如事先对同一物体类别进行预训练）。

具体框架

首先，在连续的分割图像之间匹配特征，以获得粗略的姿态估计（第3.1节）。

其中一些带姿态的帧被存储在内存池中，以便稍后使用和精化（第3.2节）。

从内存池的子集动态创建位姿图（第3.3节）；在线优化与当前姿态一起联合细化图中的所有姿态。

然后，这些更新的姿态被存储回内存池中。

最后，内存池中的所有带姿态的帧用于学习神经物体场（在单独的线程中），该场建模了物体的几何和视觉纹理（第3.4节），同时调整其先前估计的姿态，使姿态跟踪更加鲁棒。

项目地址：
https://bundlesdf.github.io/

审核编辑：李倩

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

3D

3D

+关注

关注
9

文章
2875

浏览量
107480
三维重建

三维重建

+关注

关注
0

文章
26

浏览量
9919
姿态

姿态

+关注

关注
0

文章
3

浏览量
7891

原文标题：英伟达新方法入选CVPR 2023：对未知物体的6D姿态追踪和三维重建

文章出处：【微信号：3D视觉工坊，微信公众号：3D视觉工坊】欢迎添加关注！文章转载请注明出处。

三维扫描与建模的区别三维扫描在工业中的应用

数据。这一过程是自动化的，能够快速捕捉物体的三维信息。三维建模：则需要专业建模师使用三维建模软件，从无到有地创建三维模型。建模师可以根据

发表于 12-19 14:55 •82次阅读

商汤科技运用AI大模型实现实景三维重建

近日，在北京建筑大学举行的2024第八届北京国际城市设计大会上，商汤科技把这些“活过来”的文物实景三维也带到了现场。

发表于 11-25 16:49 •437次阅读

CASAIM与迈普医学达成合作，三维扫描技术助力医疗辅具实现高精度三维建模和偏差比对

近期，CASAIM与广州迈普再生医学科技股份有限公司（简称：迈普医学）合作，基于CT数据三维重建和设计，在医疗辅具研究开发中实现高精度三维建模和偏差比对，实现与缺损区域的精确匹配。

发表于 11-12 14:48 •164次阅读

建筑物边缘感知和边缘融合的多视图立体三维重建方法

航空建筑深度估计是三维数字城市重建中的一项重要任务，基于深度学习的多视图立体（MVS）方法在该领域取得了较好的成果。目前的主要方法通过修改MVS 框架实现建筑物的深度估计，缺乏对建筑物

发表于 11-07 10:16 •187次阅读

建筑物边缘感知和边缘融合的多视图立体<b class='flag-5'>三维重建</b><b class='flag-5'>方法</b>

三维打印技术原理

三维打印技术，又称3D打印技术，是一种快速成型技术，其核心原理在于将数字模型文件逐层转化为实体物体。以下是三维打印技术原理的详细阐述：

发表于 09-16 15:31 •664次阅读

留形科技借助NVIDIA平台提供高效精确的三维重建解决方案

本案例中，留形科技借助 NVIDIA Jetson 和 Omniverse 平台，实现边缘设备上的实时、全彩、无损三维重建，从而在建筑细节捕捉、大型基础设施的数字孪生等应用中，大幅提升三维数据采集与处理的效率与精度。

发表于 09-09 09:42 •445次阅读

基于大模型的仿真系统研究一——三维重建大模型

问题，赛目推出了基于大模型的仿真系统，利用机器学习、深度学习等人工智能技术，不仅推出自动标注大模型、多模态检测大模型和场景生成大模型等模块，并且引入三维重建大模型加强渲染画面真实性。通过上述模块，赛目的路采

发表于 07-30 14:51 •1572次阅读

基于大模型的仿真系统研究一——<b class='flag-5'>三维重建</b>大模型

泰来三维工厂三维扫描建模技术服务

通过利用三维扫描技术建立工厂物体的三维模型，可以更加直观地了解物体的形状和尺寸信息，避免传统测量方法的误差和繁琐操作，从而提高生产效率和质量

发表于 07-22 13:14 •314次阅读

泰来<b class='flag-5'>三维</b> 工厂<b class='flag-5'>三维</b>扫描建模技术服务

三维扫描与3D打印在法医头骨重建中的突破性应用

随着科技的飞速发展，三维扫描和3D打印技术已经逐渐渗透到医疗领域的各个环节，为临床诊断、治疗和医学研究带来了前所未有的便利。特别是在法医学领域，三维扫描和3D打印技术的应用更是为头骨

发表于 04-19 10:26 •494次阅读

<b class='flag-5'>三维</b>扫描与3<b class='flag-5'>D</b>打印在法医头骨<b class='flag-5'>重建</b>中的突破性应用

常用的RGB-D SLAM解决方案

BundleFusion是一种稠密的实时室内场景三维重建算法框架。输入为RGB-D相机采集的并且是对齐好的RGB图像和深度图的数据流。输出为重建好的稠密三维场景模型。

发表于 04-16 09:37 •1000次阅读

泰来三维|文物三维扫描，文物三维模型怎样制作

文物三维扫描，文物三维模型怎样制作：我们都知道文物是不可再生的，要继续保存传承，需要文物三维数字化保护，所以三维数字化文物保护是非常重要的一个技术手段。那么文物

发表于 03-12 11:10 •606次阅读

泰来<b class='flag-5'>三维</b>|文物<b class='flag-5'>三维</b>扫描，文物<b class='flag-5'>三维</b>模型怎样制作

Nullmax提出多相机3D目标检测新方法QAF2D

今天上午，计算机视觉领域顶会CVPR公布了最终的论文接收结果，Nullmax感知部门的3D目标检测研究《Enhancing 3D Object Detection with 2D De

发表于 02-27 16:38 •1127次阅读

Nullmax提出多相机3<b class='flag-5'>D</b>目标检测<b class='flag-5'>新方法</b>QAF2<b class='flag-5'>D</b>

珠三角矿山机械设备三维扫描、逆向3d建模抄数设计

在机械制造领域，逆向工程很多企业经常使用的一种方法，逆向工程可以帮助企业复制、改进和优化产品。CASAIM中科广电主要使用三维扫描技术来获取产品表面的三维数据，三维测量技术能够快速、高

发表于 01-16 15:14 •497次阅读

珠<b class='flag-5'>三</b>角矿山机械设备<b class='flag-5'>三维</b>扫描、逆向3<b class='flag-5'>d</b>建模抄数设计

工业上常见的高精度主动式重建算法

三维重建目前是最为炙手可热的领域。摄影测量或结构光投影技术可以解决漫反射重建问题，但却无法有效应对镜面反射物体（如玻璃、积水、反光物体和汽车车身）等的

发表于 01-05 10:46 •479次阅读

三维视觉测量技术知识科普

三维视觉测量技术按照测量过程中是否投射光源，获取被测物体三维形貌信息的方法可以分为两大类: 被动视觉测量和主动视觉测量。

发表于 01-03 11:47 •833次阅读

搜索历史

英伟达新方法入选CVPR 2023：对未知物体的6D姿态追踪和三维重建

评论