基于点云的3D障碍物检测介绍-德赢Vwin官网网

基于点云的3D障碍物检测

主要有以下步骤：

点云数据的处理

基于点云的障碍物分割

障碍物边框构建

点云到图像平面的投影

点云数据的处理

KITTI数据集

KITTI数据集有四个相机，主要使用第三个相机(序号为02)拍摄的图片、标定参数和标签文件。

点云数据一般表示为N行，至少三列的numpy数组。每行对应一个单独的点，所以使用至少3个值的空间位置点(X, Y, Z)来表示。在KITTI数据中有一个附加值“反射率”，这是衡量激光光束在那个位置被反射回来了多少。所以在KITTI数据中，其点云数据就是N*4的矩阵。

三维点云的可视化

在MATLAB中可视化三维点云，如下图。

额外的工作：三维点云的可视化，可使用python中的mayavi来实现，它是一个专门画3D图的python工具。另外，在有的论文中常常用到点云的鸟瞰图和前视图(包含360度的全景柱面图)。

高精地图

ROI指定从高精地图检索到包含路面、路口的可驾驶区域。以下点云数据处理在高精地图的基础上进行点云处理，默认去除路边建筑物和树木等背景对象。

额外的工作：百度Apollo使用了高精地图ROI过滤器建立了网格，对网格中的点云数据特征进行CNN学习来实现障碍物分割聚类，之后使用了MinBox构建障碍物边框。

去除地平面

找到地面平面并移除地面平面点，使用RANSAC(随机采样一致)算法检测和匹配地面平面，最后结果如下图。

基于点云的障碍物分割

对点云数据进行预处理后，只留下路面上障碍物的点云，其余的背景障碍物以及地面已被移除。障碍物分割主要检测和划分单独的障碍物，将单独的车辆、行人等障碍物分割出来。

由于只是在二维图像中画出3D目标框，所以保留车辆前面的点(取x>5)。在剩下的点云中使用栅格法构建俯视图(即投影到x-y平面)2D网格，网格大小由点云的大小来决定。

通过建立网格，可以得到以下统计量：

网格中的点云个数

网格中的点云的最大、最小和平均高度

网格中的点云序号

基于以上统计量，寻找每个格子附近(3*9)领域的连通区域，每个连通区域为一个障碍物，达到了分割障碍物的目的。

额外的工作：使用KITTI的标签label文件来得到二维图像上的障碍物边界框，在此边界框中进行聚类分割前景障碍物和背景。

障碍物边框构建

从以上得到每个障碍物点云后，就需要画出每个障碍物的边界框。在这里使用最小凸包法求出包围点云的最小面积多边形边界框，如下图。基于最小凸包法得到障碍物周围的点，在这些点的基础上求出包围最小面积的矩形，如下图。可以看到黄色部分的点云求最小面积矩形边界框，会因为点云的稀疏，使得边界框不精确。

额外的工作：根据点云的x, y坐标找到x, y的最大值和最小值的点(共有4个点)，根据这4个点画出矩形框。很显然，这样做是不行的，但是如果知道车辆的朝向，以朝向为轴找到距离轴最大最小的点，此方法画出的边界框更加精确。

点云到图像平面的投影

点云到图像平面的投影需要读取标定参数文件，得到三个参数(相机的内参矩阵、基于相机0的旋转矩阵、外参矩阵)，三个参数的乘积也就是点云到图像的投影矩阵

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

3D

3D

+关注

关注
9

文章
2875

浏览量
107477
文件

文件

+关注

关注
1

文章
565

浏览量
24725
数据集

数据集

+关注

关注
4

文章
1208

浏览量
24688

原文标题：基于点云的3D障碍物检测

文章出处：【微信号：vision263com，微信公众号：新机器视觉】欢迎添加关注！文章转载请注明出处。

基于3D点云的多任务模型在板端实现高效部署

对于自动驾驶应用来说，3D 场景感知至关重要。3D点云数据就是具有3D特征的数据。一方面，3D

发表于 12-28 16:35 •1457次阅读

基于<b class='flag-5'>3D</b><b class='flag-5'>点</b><b class='flag-5'>云</b>的多任务模型在板端实现高效部署

基于深度学习的方法在处理3D点云进行缺陷分类应用

背景部分介绍了3D点云应用领域中公开可访问的数据集的重要性，这些数据集对于分析和比较各种模型至关重要。研究人员专门设计了各种数据集，包括用于3D

发表于 02-22 16:16 •1124次阅读

遇到障碍物自动返回？

为什么有些东西，遇到障碍物会自动返回，是哪一种传感器吗？哪里有没有这类的电路图介绍下，非常感谢

发表于 09-10 21:14

基于labview机器视觉的障碍物时别

通过摄像头对周围环境信息的实时采集，如果当镜头前方出现障碍物时候，以一定的方式（声音或振动之类的）反馈出来。主要考虑的是实现盲人室内导盲作用，不需要太过于考虑实际使用，只要能实现判定到障碍物，自动提醒就行啦。怎么判定前方出现障碍物

发表于 03-14 07:58

请问Infrared Proximity Sensor如何检测前方是否有障碍物？

Infrared Proximity Sensor如何检测前方是否有障碍物

发表于 11-06 07:57

检测障碍物有什么什么传感器？

检测障碍物有什么什么传感器，用红外反射还是超声波测距，或者还有其他传感器？

发表于 11-08 06:33

汇编语言程序设计案例—动态显示/障碍物检测/障碍物方位检测

汇编语言程序设计案例1—动态显示/障碍物检测/障碍物方位检测 10-1. LED数码管显示原理10-2. 案例分析1（2位学号显示)10-

发表于 03-23 12:15 •38次下载

障碍物检测实验

障碍物检测实验一、实验目的“旋风”小车在运动过程中要成功避开障碍物必须在一定距离外就探测到障碍物。在小车上探测障碍物

发表于 03-23 10:47 •2831次阅读

障碍物方位检测实验

障碍物方位检测实验一、实验目的小车在运动中要成功避开障碍物，除了要检测是否有障碍物外，还需要判断障碍

发表于 03-23 10:48 •1999次阅读

3D点云技术介绍及其与VR体验的关系

;x>nkedIn上发表了一篇跟澳大利亚科技公司优立（Euclideon）所使用的点云数据有关的文章，并在业内引起了一番讨论。 1. 点云的问题点

发表于 09-15 09:28 •20次下载

点云问题的介绍及3D点云技术在VR中的应用

1. 点云的问题点云是由3D扫描硬件收集的数据，如FARO的Focus 3D激光扫描仪和Shi

发表于 09-27 15:27 •17次下载

基于点云的3D障碍物检测

在KITTI数据中有一个附加值“反射率”，这是衡量激光光束在那个位置被反射回来了多少。所以在KITTI数据中，其点云数据就是N*4的矩阵。

发表于 09-24 13:21 •2636次阅读

基于用于检测障碍物的传感器的3D打印清洁机器人

基于fpga的3D打印清洁机器人。该机器人具有多个用于检测障碍物的传感器和一个用于清洁地板的吸尘器。此外，该机器人还包含一种导航算法，使其能够尽可能高效地驶离房间并相应地对障碍物做出反

发表于 04-28 15:09 •2176次阅读

何为3D点云语义分割

融合标注使用的3D标注工具仍以3D立体框为主，但在3D点云数据以外，还需要使用2D标注工具在

发表于 07-21 15:52 •8649次阅读

使用IR模块的障碍物检测器

德赢Vwin官网网站提供《使用IR模块的障碍物检测器.zip》资料免费下载

发表于 11-14 11:31 •0次下载