基于FPGA而实现的视频图像处理算法

（文章来源：EEPW）
为有效提高视频监控应用领域中多屏幕画面显示的清晰度、分辨度等问题，提出了一种基于FPGA的实时视频图像处理算法。文中介绍了系统的整体结构，然后针对FPGA模块介绍了视频图像的缓存及图像分割，并针对视频的输出显示要求，重点介绍了基于双线性插值算法的实现。ModelSim的仿真结果表明，该算法符合多屏幕显示系统的要求。

随着网络信息化的发展，显示设备作为获取信息的直接手段，有着不可或缺的作用。为满足用户对更大屏幕的观看需要以及使信息显示更优化，大屏幕拼接技术应运而生。大屏幕图像尺寸的增大使在普通显示器上不易察觉的细节暴露无遗，提高了可视化的准确性。高分辨率图形图像数据处理和可视化，用于解决基于单一硬件显示设备无法可视化的高分辨率图形图像。

而拼接控制器是大屏幕系统中的核心显示控制设备。拼接控制器的核心是其处理能力和稳定性，基于计算机体系构架的传统控制器，其性能和稳定性完全取决于它所依赖的计算机，无论传统控制器如何改进，最多只能算量的积累，难以获得质的提升。采用大规模FPGA阵列式组合处理构架，全嵌入式硬件设计的拼接控制器集视频信号采集、实时高分辨率数字图像处理、二维高阶数字滤波等高端图像处理技术于一身，具有强大的处理能力。

本文正是在这种背景下，设计了一种基于FPGA的视频图像处理算法，实现实时数字视频的分割、插值放大，通过并行处理机制，保证了视频的实时处理和画面流畅。文中将完成一路监控摄像头采集的画面在2×2的液晶拼接屏上显示一幅完整大图的效果。

由网络摄像头采集到的视频信号，经过DVI接收器后，发出数据及控制信号供给FPGA。通过FPGA主控芯片对输入的视频信号进行分割、插值放大等处理;视频输出模块将FPGA处理后的数据再通过DVI接口输出到屏幕上。只要数据读出速度高于写入速度，就不会使图像产生突变现象，从而达到实时处理的目的。

DVI接口是将显卡中经过处理的待显示R、G、B数字信号与水平同步信号(Hsync，行同步信号)、垂直同步信号(Vsync，场同步信号)进行组合，按最小非归零编码，将每个像素点按10 bit(8 bit像素数据和2 bit控制信号)的数字信号进行并串转换，把编码后的R、G、B数字流与像素时钟4组信号按照最小化传输差分信号(Transition Minimized Differential Signal，TMDS)方式进行传输。

当FPGA内部的信号控制采集信号为0时，采集系统停止工作，地址发生器不计数。当其为1时，系统处于采集状态。首先只有Vsync上升沿到来后，才允许Hsync通过，从而保证采集的图像为完整的一帧图像。当Vsync上升沿到来后，对所有计数器及触发器清零。Vsync上升沿后，场消隐延时用来对Hsync计数，场消隐期后，可以采集图像。行同步计数器对Hsync进行计数。在计数的每一行中，当Hsync上升沿到来时，行消隐延时对其计数。行消隐过后，点同步计数器开始对其计数。当行同步计数停止计数时，一帧图像采集完毕，等待下一个Vsync到来。

数据缓冲区为两片SDRAM，以一帧图像为单位进行切换控制。采用乒乓存储机制完成数据的无缝缓冲与处理。乒乓操作可以通过“输入数据选择控制”和“输出数据选择控制”按节拍、相互配合地进行来回切换，将经过缓冲的数据流没有停顿地送到“后续处理”模块。

由于一个像素的输出值只取决于输入图像的相应像素值，因此，可通过对每个输入像素依次进行处理这种流水化的处理模式，来实现对图像的点操作。由于每个像素是单独处理的，所以点操作很容易并行实现。因此，可以把图像分割成若干部分，然后再对每个部分单独进行处理。

视频分割模块实现单帧视频图像的分割剪裁，得到4路完整格式的子视频像素流，并控制4个子视频的相互时序关系，各个拼接屏幕的像素点的扫描规律相同，均为逐行扫描形式，并且子视频像素点显示同步，即行同步和场同步。