基于细节增强和动态压缩算法的图像处理方案

电子工程师 2017-11-22 5307

FPGA/ASIC技术

206人已加入

描述

　　红外焦平面探测器输出的模拟信号通常采用14 bit 的A/D进行数字化，并进行后续处理，而常用的显示设备只能显示8bit图像，于是最终显示需要对图像进行压缩，压缩过程直接影响显示效果。与之相关的图像细节增强和动态范围压缩技术亦是当前行业内重点研究的技术。基于已提出的一种细节增强和动态压缩算法，在以Xilinx公司的XC5VLX50T FPGA为核心处理器件的图像处理板上对算法进行了工程实现，算法完全在FPGA片内利用Verilog—HDL编写实现，不占用片外资源，片内占用资源适中，处理延时小于200μs。实际观测试验验证了算法以及实现手段的有效性。

　　O 引言

　　红外场景信息具有高动态范围的特点，热成像系统通常对探测器的输出信号采用14bit的A／D转换，而通常的视频及其显示设备以及人眼对灰度的分辨能力只达到8bit，因此14bit原始图像到8 bit显示图像的动态压缩成为热成像系统的必备处理环节。目前，常用的线性影射（如AGC）或者直方图统计（如直方图均衡化HE）等方法往往存在输出图像场景细节模糊，甚至目标丢失的现象。因此，动态压缩方法成为制约热成像系统性能的关键点之一。

　　近年来，国外发展了数字细节增强（DDE）技术，不仅有效地压缩了图像的灰度位数，而且场景中的微小目标细节获得有效保存，成为当前高性能热成像系统的关键处理技术之一。国内近年来也开展了DDE技术的研究，取得了较好的细节增强效果，但在热成像系统硬件平台上实现的DDE处理尚较少报道。文中将在国外有关资料以及自己研究成果的基础上，研制一套可用于FPGA处理平台的红外图像细节增强动态压缩技术。

　　1 算法简述

　　自然场景的红外图像具有很高的温度动态范围，这种大温差现象通常存在于物体或者物质之间（如天空、地面、车辆），而相对较小的温差则存在于物体或者物质的局部（如房屋的屋檐、墙壁、门、窗）。要使得在8bit的图像中仍能较好地呈现14bit的图像细节信息，不仅需要对大动态的信息进行相对较强的压缩，而且需要留出必要的灰度级，使小动态的细节信息有其表现的空间。如图1所示，在算法处理时首先利用特殊的滤波器将图像的大动态温度范围信息（基础图像）和小动态细节信息（细节图像）进行分离；然后对两部分分别进行动态压缩，并在8bit显示数据中各自指定一定比例的压缩后映射范围，最后合成一幅8bit的输出图像。

图像处理

　　双边滤波器是动态分离应用中较典型的一种滤波器，利用双边滤波分离大动态和小动态图像的方法为：

图像处理

　　空域低通滤波可理解为某一中心像素与其周边像素的加权平均，而权重随着与中心像素的空间距离加长而逐渐减小。同理，可构造一个灰度域滤波器，该滤波的权重随着周边像素的灰度与中心像素灰度的差距加大而减小，从而可使图像中有剧烈变化的部分不会被滤除，对于红外热图像则是保留了高动态图像中高温与低温动态范围以及局部图像的细节信息。

　　分离后的图像可通过如线性映射啊、直方图均衡等一些常规的方法压缩至8bit，最后合成完整的图像输出。

　　2 硬件实现

　　红外图像细节增强压缩处理算法已在实验室一套中波320x256碲镉汞焦平面探测器红外成像系统上实现，如图2所示。其电路系统包含上／下两块电路板，上层板完成对探测器的驱动及对探测器输出模拟信号的数字化采集，数字信号送给下层板FPGA进行数字处理，处理图像可分别通过PAL标准模拟视频、VGA以及数字视频输出。文中算法在下层板的FPGA芯片内实现，未使用任何片外资源。

图像处理

　　下层板为近期研发的通用数字图像处理板，如图3所示。其以Xilinx XC5v】LX50T为核心处理器件，外围器件包含：4片9Mb ZBT SRAM，最高读写速度150 MHz；128 Mb SD洲；4 Gb hand FLASH；双路模拟视频输出，PAL输出由SAATl21芯片提供，VGA输出由ADVTl23提供；两路RS422通信接口；两路各37位通用数字接口（可根据要求自定义信号）。电路板面积为12 cmx7 cm，12V电源输入，一般情况下功耗为4w。整套电路兼具高处理性能、通用性以及小型化的特点。

图像处理

　　处理流程的设计充分发挥FPGA并行运算以及流水线处理的特点，尽可能减少处理延时㈣。设计利用FPGA片内FIFO缓冲图像，继而利用滤波器进行动态分离，可不使用外部存储器，同时数据以数据流的形式传递，大大减少了系统延时。分离后的数据仍以数据流的形式进行压缩处理及合成，最终再以数据流的形式提交后续处理模块。文中算法的处理延时小于200μs。

　　对算法处理模块的单独综合测试结果如表1所示。即实现该算法需要较多的LUT和乘法器，对其他资源并没有太高的需求。

图像处理

　　3 观测实验

　　实验于2010—11—18日19时开始，此时太阳已落山，其辐射影响可排除，即热像仪接受到的辐射几乎完全来自物体自身的热辐射（中波热像可接收部分太阳的辐射）。实验地点为北京三环路边的北京理工大学实验楼，室外气温约5℃。观测场景主要为北京三环路上的车辆、学校以及周边环境。观测实验之所以在气温较低、无日照条件下进行，是因为中波热像可以接收太阳辐射，太阳相当于一个光源，直接提高了图像信息的质量和强度；当环境温度较低，而人体以及车辆发动机温度相对较高时，图像中景物的温差相对较大，即可以形成大动态图像。因此，在此条件下进行的实验将较为严格。下面的观测实验，将对比动态分离压缩算法与传统线性压缩算法的效果。

　　图4为采用通常的AGC线性压缩得到的图像效果。可以看出，由于环境温度与人、车辆轮胎以及车辆地盘的温差较大，为了兼顾图像中各目标的效果，只能采用相对较低的增益，此时仍有部分温度较高的区域达到了饱和（如轮胎），周围环境以及人体衣着等细节温差则由于低增益的缘故显得较为模糊。

图像处理

　　图5为采用文中处理算法获得的车辆和行人的图像效果。可以看到：出租车轮胎（位置①）的高温度区域得到了较好的抑制，使轮胎细节得到了较好的表现；在可见光示例图像清晰可见的出租车前门标识（位置②）也能隐约可见；关闭的出租车后车窗（位置③）（可对比前车窗）虽然在中波波段的透射比较低，但仍可通过透射出来的辐射，看到车内的情况；位置④、⑥分别为路沿和一些堆积物，其自身温度与环境温度接近，由于表面状态差异所产生的轮廓褶皱得到了保留；行人的头发、耳朵、身上衣服的辐射细节（位置⑤）特征都得到了较好的表现。

图像处理

　　相对于具有较大温度动态范围和复杂细节信息的图5而言，图6则是温度动态范围较小的自然环境。对于此类场景，文中算法依然可增强物体轮廓的分辨，乃至可看到树皮的纹理。

图像处理

　　图7为其它几幅不同场景的大动态图像的处理效果，有后置发动机的公交车、动物、远方的塔吊、近处的窗户、电线杆、井盖与地砖、打开窗户的房间以及可以看到屋内的物品。

图像处理

　　需要指出的是图像中的高温物体和周围低温环境的边界并没有出现以往边缘增强方法容易产生的“晕”现象，算法对于一些亮点和暗点也表现出了较好的适应性；算法的不足之处是在保留小动态信息的时候，也会放大系统的非均匀性，使得图像看起来有一些颗粒感，没有线性压缩的效果细腻，因此，细节增强处理需要以良好的非均匀性校正为基础。

　　4 结论

　　在FPGA处理板上实现了细节增强与动态范围压缩算法，实验表明，处理系统对于大动态以及小动态场景目标都有较好的适应性，使原始图像数据中大动态范围的目标细节信息在8bit数据图像上都能够得到一定的呈现。处理算法全部在FPGA芯片内实现，提高了算法在不同系统上的可移植性。处理系统只有较小的处理延时，为适应实时性要求较高的应用场合提供了保证。

　　国内外的应用表明，热图像细节增强与动态范围压缩技术对于高性能热成像系统具有实质性的作用，该技术的进一步研究和应用将成为主要的发展方向之一。

打开APP阅读更多精彩内容