关于360全景环视系统技术简要分析

360全景环视系统恐怕是中国最受欢迎的ADAS功能，国产品牌中高端车一般标配360度全景环视系统，出货量最大的莫过于传祺GS8和吉利博越。传祺GS8主力车型18.28万豪华智联版并非顶配车型，但标配360全景环视系统。GS8的车机由哈曼完成，360度全景环视系统由德尔福提供。吉利博越则在12.98万的手动智慧版就标配360全景环视系统，13万以上的吉利博越车型全部标配360全景环视系统，吉利博越的高配车机由博泰提供，360全景环视系统由纵目科技提供算法和方案，由重庆桑德科技提供PCB板和硬件制造，由德赛西威提供摄像头。2016年吉利博越销量109080，估计有30%配备了360全景环视系统，也就是大约3.8万套。

360全景环视系统可以简单分为与导航CPU共享运算资源型（吉利博越）和单独CPU型（传祺GS8）。国际上一般叫AVM（AroundView Monitor），最早的AVM由歌乐（日立汽车子公司）与日产联合开发，在2003年推出。

在国际专利数据库中查询相关专利，关键词如下

1990-2013年全景环视系统AVM的专利数

AVM专利数自2013年开始下降，这就意味着AVM已经成熟，已经不是研发重点了。

AVM专利公司分布

丰田旗下的电装专利数量最多，其次是日产、本田、爱信精机、富士通天、住友电气、日本电装、阿尔派、日产、丰田、爱信AW、歌乐、松下、住友线束、博世、Matsushita Electric、Toyota Jidosha、阿尔派等。

1.LUT技术

对于共用导航CPU的360全景环视系统，一般采用以LUT为核心的技术方式。

典型360全景环视系统流程

脱机前置作业程序包含了相机校正、 扭曲校正、 估测暗角参数、 鸟瞰转换与影像对位。 经过脱机前置作业程序后会生成一张全周鸟瞰影像与各相机影像间的几何关系对应表LUT (Look Up Table)， 之后因相机参数固定， 相机间几何关系也不变， 可用查表方式连续生成全周影像。 在线实时作业程序包含影像点内插、暗角效应补偿、 亮度一致化与色彩混合处理， 最终生成环景鸟瞰图像。LUT是最重要的，LUT的生成需要CMOS传感器厂家和镜头厂家配合提供。

利用上面这两个方程设计人员能够将校正图像上的每一像素点映射到输入图像的每一像素点。校正后的鱼眼图像在水平方向没有全景失真。

拼接图像时，需要对图像进行配准，以确定重叠区。图像必须来自两个以上相同的镜头，其主轴都位于同一水平面。而且，镜头必须分开一点距离，彼此有些转动。假设景象中的所有目标都足够远，这种情况可以建模为一个镜头沿垂直轴旋转得到不同的图像。在这些假设下，方程表示的校正功能将图像变换为彼此水平平移。校正后，只需要指出图像之间对准时的水平移位就能够解决图像配准问题。但是，由于镜头对准误差，实际中，只有水平方向对准还不能完全配准图像。因此，除了水平平移，还需要进行垂直平移才能完全对准。

确定了经过校正的鱼眼图像的配准参数后，方程采用水平和垂直平移常数，适当的平移 (xq,yq)，将输出拼接图像的每一像素映射到多幅输入图像的一幅中。很明显，这种映射方法与图像内容无关，而取决于镜头的特性（包括 FOV 和输入图像分辨率）、显示（包括分辨率），以及配准参数等。因此，可以通过在启动时进行一次计算，结果存储为查找表 (LUT)，实现映射。

还有一个失真校正LUT，有些小企业得不到镜头厂家的支持或者节约成本干脆省掉了这个环节。

很明显这个LUT得由镜头厂家提供，所以镜头厂家的地位可是很高滴。从上面的流程中我们可以看出，这种360度全景环视系统技术含量并不高。

这种技术方案的缺点是算法简单，所占运算资源很少，成本很低，缺点是图像缺乏立体感，鲁棒性差，毕竟是静态标定的，再有是4个鱼眼镜头拼接导致视距很短，完全依赖360全景系统仍然不算太安全。有些厂家会增加一级透视变换，就是增加立体感。

使用3D图像引擎（SGX544）生成3D Mesh Table，GPU做Rendering。

2.Wrap Around View

富士通提出另一种做法，这就是富士通引以为傲的Wrap Around View，此技术于2009年推出。

富士通采用虚拟曲线半球面投影，而非平面投影，这种投影3D立体感强，视距扩展，失真小，画面更加自然，成本也增加不少。从2009年推出的第一代MB86R01，到2013年推出MB86R24。历经数代，性能越来越强。MB86R24内含两个ARMCortex-9内核，采用55纳米工艺，运算能力大约为4000DMIPS ，采用PowerVR SGX543 3D图像引擎，富士通2D图像引擎，支持6个全HD摄像头输入。摄像头的FOV不必要求太高，120度也可，这样就可以探测到比较远的物体。 物体靠近侦测ApproachingObject Detection功能，一旦有一侧的摄像头侦测到有移动物体变自动切换到那个摄像头覆盖的画面，这个原理很简单，移动物体会让码率增加，简单对比码率即可得知。

富士通运用灵活的时间帧来采集两个不同的图形，能够检测大约40-60米远的目标，传统的图形识别只能做到5-10米。 MB86R24典型应用是在英菲尼迪的高端车上。

上图为MB86R24的内部框架图，当然这款芯片除了360全景也可以做Infotainment、仪表和AR HUD。

3.视觉里程计技术

英伟达则使用更高大上的技术，用视觉里程计来打造360度环视系统。英伟达认为传统的环视系统都太LOW，特别动态情况下有拖影或者叠影。英伟达使用无人驾驶领域中的视觉里程计技术，使用视频流6DOF来获得高精度的校准参数，使视觉里程计达到实用地步，远超传统的方向盘转角与车辆速度的2DOF校准。

这当然需要强大的GPU来支持，至少是Tk1的级别，这种技术再前进一步就是全自动泊车了。

360全景技术难度不高，关键在于怎么控制成本。360环视系统的成本控制点不在处理器而在连接器和连接线。如果采用数字视频传输，那么一般需要采用LVDS接口，这就需要车规级的LVDS连接器和连接线，每条的价格在6-10美元之间，最顶级的LVDS连接器和连接线据说价格逼近1000元人民币，几乎和低端车机价格相同。为解决这个高成本问题，美信推出MAX9286，MAX9286配合MAX96709，能够用普通同轴电缆代替LVDS，同时实现1.5Gbps的带宽。再有就是采用以太网（EAVB）传输视频，NXP的MPC5604E做MCU，博通的BroadRReach做物理层连接，可以将以太网输入转化为FlexCAN或LINFlex，这是宝马奔驰喜欢用的总线。对高清的支持，EAVB显然性能最佳。当然成本也不低。

低端厂家当然不会有这个麻烦，他们不用数字视频传输，他们是vwin 视频接口。当然ADC不可或缺，ADI和Insteril（已被瑞萨收购）有不少低价ADC，如ADV7184，ISL79985，ISL79986，TW6865，TW9966。

360全景系统的标定也是很关键的一环，大家最常见的就是黑白棋盘式校准，高端车则采用框线式。实际还有很多种。

360环视系统发展空间巨大，目前都采用180度FOV的鱼眼镜头，虽然经过了失真矫正，但不可能达到传统摄像头的效果，图像周边仍然桶形失真明显，3D感也很差。同时鱼眼镜头的有效距离也太短了。未来可能用6到8个90度FOV摄像头取代鱼眼镜头，配合视觉里程计最终发展为全自动泊车。