1、传感器
无人车视觉传感器:超声波雷达(倒车)、毫米波雷达、LiDAR与摄像头。
激光雷达精度,速度高(厘米级),成本高;毫米波雷达可适应恶劣天气
2、KITTI数据集
(1)Stereo/Optical Flow数据集:两个摄像头
(2)视觉里程测量数据集
(3)三维物体检测数据集
(4)物体追踪数据集
(5)路面与车道检测数据集
3、计算机视觉能解决的问题:
(1)物体的识别与跟踪:识别(深度学习):行人、行驶空间、地标、红绿灯、其他车辆;跟踪:Optical Flow运动预测算法
(2)车辆的定位(基于拓扑与地标的算法,基于几何的视觉里程计算法)
4、Optical Flow和立体视觉
Optical Flow:图片序列或视频中像素级的密集对应关系,例如在每个像素上估算一个二维的偏移矢量,得到的Optical Flow以二维的矢量场表示。---基于单个摄像头在连续时刻的图像。
立体视觉:从两个或更多的视觉得到的图像中建立对应关系。---基于多个摄像头在同一时刻的图片。
进展:Siamese神经网络
5、物体的识别与追踪
实时地识别与追踪多个运动目标(车辆,行人)。
基于深度学习的物体识别:输出有噪声,如物体识别不稳定,物体被遮挡,物体短暂误识别。
进展:基于马尔科夫决策过程(MDP)的MOT算法:基于有噪声的识别结果获得鲁棒的物体运动轨迹。
6、视觉里程计算法
(1)基于拓扑与地标的算法:把所有的地标组成一个拓扑图,当无人车监测到某个地标时,可以大致推断自身的位置。
条件:建立精准的拓扑图,比如将每个路口的标志物做出地标。
(2)基于几何的视觉里程计算法:无需预先建立精准的拓扑图,分成单目和双目两种。
单目:无法推算出观察到的物体的大小,需要假设物体的初步大小,或结合其他传感器(如陀螺仪)进行准确的定位。
双目:通过左右图的三角测量法计算出特征点的深度,然后从深度信息推算出物体的大小。
编辑:jq
-
传感器
+关注
关注
2550文章
51035浏览量
753070 -
mDP
+关注
关注
0文章
9浏览量
9544 -
无人车
+关注
关注
1文章
301浏览量
36470
发布评论请先 登录
相关推荐
评论