手持RGB-D传感器广泛应用的情况-德赢Vwin官网网

从3D场景中实例形状重建涉及恢复多个对象的完整几何结构。这涉及到在语义实例级别对数据进行处理。使用数据驱动学习来应对场景的复杂性和室内遮挡。方法需要大规模、高质量的数据集来训练，其中包括与真实世界扫描对齐和配对的形状标注。已有数据集可能是合成的或不对齐的，这会限制数据驱动方法在真实数据上的表现。文章提出了一个名为LASA的数据集，包含了高质量的CAD标注和与ArkitScenes的真实场景扫描对齐的数据，这些由专业艺术家手动创建。在此基础上，文章提出了一种名为DisCo的新型基于扩散的跨模态形状重建方法，利用混合特征聚合设计，融合多模态输入，并恢复高保真度的对象几何结构。除此之外，还提出了一种名为OccGOD的基于占据信息引导的3D对象检测方法，并展示了形状标注提供的场景占据信息线索如何进一步改善3D对象检测。经过大量实验验证，文章的方法在实例级别场景重建和3D对象检测任务中取得了最先进的性能。

读者理解：

LASA 使用大型对齐形状注释数据集的做法非常有意义。这使得 LASA 能够学习到更通用的形状特征，从而提高实例重建的准确性和可靠性。

LASA 使用实例分割、形状对齐和生成对抗网络等多种技术的做法非常合理。这使得 LASA 能够生成逼真的、高质量的实例 3D 模型。

该研究提出了以下主要方法和贡献：

LASA数据集构建：LASA是一个大规模数据集，包含10,412个手工制作的高质量CAD模型，覆盖了920个真实场景。这些模型与ArkitScenes的3D激光扫描对齐，为数据驱动的重建算法提供了准确、一致的训练数据。

DisCo方法：提出了一种基于扩散的跨模态形状重建方法。该方法利用三平面扩散模型，结合部分点云和多视图图像，实现了高保真度的3D形状重建。混合特征聚合层有效融合了不同输入模态的局部特征，提高了特征对齐效果。

OccGOD方法：占据引导的3D物体检测方法利用LASA的完整标注生成场景级占据地面真值，指导3D物体检测。这种方法在处理遮挡和稀疏物体方面相较于基线方法取得了显著的性能提升。

1 引言

本文探讨了手持RGB-D传感器广泛应用的情况，指出由于传感器精度的限制、室内环境的复杂性和物体之间的遮挡等问题，室内场景扫描往往存在噪音和不完整性。这限制了在虚拟/增强现实和3D行业等领域中对完整高质量重建的需求。文章着重介绍了3D视觉和图形学领域对室内实例级场景重建的迫切需求，目标是基于传感器捕捉的3D扫描或图像来重建观察到的物体形状。深度学习方法已取得许多进展，但这些方法需要大量配对的场景扫描和CAD模型以进行训练。然而，现有的数据集往往是合成的或者不对齐的，限制了数据驱动方法在真实数据上的性能。文章介绍了LASA数据集的创建，这是一个大规模对齐的形状标注数据集，由专业艺术家手工制作，与920个真实世界场景的3D扫描对齐。LASA数据集的推出旨在解决当前研究中的瓶颈，为数据驱动的室内场景理解和重建提供了途径。这里也推荐工坊推出的新课程《彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进》。

2 方法

LASA数据集包含10,412个独特的CAD模型，覆盖了920个场景，采用专业艺术家手工创建，并与3D扫描对齐。这些标注为数据驱动的重建算法提供了精确一致的训练数据。

LASA数据集是基于ArkitScenes的3D激光扫描构建，通过降采样和转换矩阵对齐实现数据预处理，再通过CAD模型手动标注和验证确保了标注质量。

LASA数据集与其他现有数据集相比，具有相似数量的CAD模型，并且在CAD标注质量和形状多样性方面表现出优势，同时能够提供完整的RGB-D序列，拓展了其在下游应用中的可能性。

DisCo方法利用三平面扩散模型，结合了部分点云和多视图图像，实现了高保真度的3D形状重建。同时，混合特征聚合层有助于更好地融合不同输入模态的局部特征。

OccGOD利用形状完整性先验从LASA的标注中生成场景级占据地面真值，以指导3D物体检测，在处理遮挡和稀疏物体方面取得了显著的性能提升。

3 总结

通过引入LASA数据集，本研究提出了DisCo和OccGOD两种方法，分别用于跨模态形状重建和占据引导的3D物体检测。这两种方法在真实场景中取得了最先进的性能表现，证明了LASA数据集的支持对于改善室内场景理解和重建领域的标注质量和数量至关重要。

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

传感器

传感器

+关注

关注
2550

文章
51035

浏览量
753049
CAD

CAD

+关注

关注
17

文章
1090

浏览量
72445
数据集

数据集

+关注

关注
4

文章
1208

浏览量
24688

原文标题：读者理解：

文章出处：【微信号：3D视觉工坊，微信公众号：3D视觉工坊】欢迎添加关注！文章转载请注明出处。

RGB传感器的典型应用

特定玻璃对读数的影响，并调整最终产品所需的色度补偿。软件还可以显示，IC传感器的精度能够与专用手持色度仪的精度有多接近。　　Intersil ISL29125便是一款满足这种快速增长市场需求的RGB

发表于 11-07 10:51

多维力传感器被广泛应用

多维传感器，量程范围从几百克力到几十吨，并获得弹性体结构和矢量解耦电路等方面多项技术。　　多维力传感器广泛应用于机器人手指、手爪研究；机器人外科手术研究；指力研究；牙齿研究；力反馈；刹车检测；精密装配

发表于 08-05 11:44

如何去开发一款基于RGB-D相机与机械臂的三维重建无序抓取系统

基于RGB-D相机与机械臂的三维重建无序抓取系统有哪些关键技术？如何去开发一款基于RGB-D相机与机械臂的三维重建无序抓取系统？基于RGB-D相机与机械臂的三维重建无序抓取系统是由哪些部分组成的？

发表于 09-08 06:12

美国国家半导体温度传感器的广泛应用

美国国家半导体温度传感器的广泛应用 温度传感器可以说是无所不在,空调系统、冰箱、电饭煲、电风扇等家电产品以至手

发表于 01-14 09:07 •1660次阅读

基于RGB-D图像物体识别方法

针对传统的颜色一深度（RGB-D）图像物体识别的方法所存在的图像特征学习不全面、特征编码鲁棒性不够等问题，提出了基于核描述子局部约束线性编码（ KD-LLC）的RGB-D图像物体识别方法。首先，在

发表于 12-07 10:22 •1次下载

3D场景感知所需要的技术以及未来发展的方向

2. RGB-D是一种特殊的相机，它不仅能捕捉深度信息（D）还能捕捉图像颜色（RGB）。而且它还能捕捉到和2D相机一样的彩色图像。大多数RGB-D

发表于 08-31 09:59 •9278次阅读

传感器正广泛应用各个行业

传感器应用传感器广泛应用于汽车、制造、航空、船舶、医疗、电信、化工和计算机硬件等各个行业。 传感器是一种电子设备，用于测量设备、器具、机器和任何其他系统的物理属性，如温度、压力、距离、

发表于 09-22 13:58 •3746次阅读

RGB-D图像是什么

RGB-D图像其实是两幅图像。

发表于 11-01 11:46 •1.8w次阅读

基于UWB、里程计和RGB-D融合的室内定位方法

的思想，仅消耗极少部分的计算资源就可以将各个传感器融合起来，提高了系统精度。实验结果表明，该方法可以将定位误差抑制在10cm以内将偏转角误差抑制在1以内，彻底解决单一RGB-D摄像头SLAM时跟踪失败的问题。

发表于 04-25 14:47 •14次下载

用于快速高保真RGB-D表面重建的神经特征网格优化的GO-Surf

我们提出了GO-Surf，一种直接的特征网格优化方法，用于从RGB-D序列中准确和快速地重建表面。

发表于 03-17 16:35 •739次阅读

瞄准AGV/AMR领域-维感科技发布高性价比RGB-D ToF相机DS86/87

维感科技于近期正式对外发售极具性价比的3D ToF RGB-D深度相机新品DS86/87，零售价格分别为4,199元与4,999元。

发表于 06-16 09:40 •531次阅读

一种基于RGB-D图像序列的协同隐式神经同步定位与建图(SLAM)系统

提出了一种基于RGB-D图像序列的协同隐式神经同步定位与建图(SLAM)系统，该系统由完整的前端和后端模块组成，包括里程计、回环检测、子图融合和全局优化。

发表于 11-29 10:35 •605次阅读

两种应用于3D对象检测的点云深度学习方法

随着激光雷达传感器（“光检测和测距”的缩写，有时称为“激光扫描”，现在在一些最新的 iPhone 上可用）或 RGB-D 摄像头（一种 RGB-D 摄像头）的兴起，3D 数据变得越来越

发表于 01-03 10:32 •1058次阅读

常用的RGB-D SLAM解决方案

BundleFusion是一种稠密的实时室内场景三维重建算法框架。输入为RGB-D相机采集的并且是对齐好的RGB图像和深度图的数据流。输出为重建好的稠密三维场景模型。

发表于 04-16 09:37 •1000次阅读

触控传感器：工作原理、运行方式及广泛应用

、便捷的操作方式，极大地提升了用户体验。本文将深入探讨触控传感器的工作原理、多样化的运行方式以及其在各领域的广泛应用，带领读者一窥这一技术的奥秘。触控传感器的工作原理触控传感器的工

发表于 08-29 10:17 •426次阅读