解析关于颜色空间采样的抠图算法
摘 要： 由于自然图像抠图具有高度的不确定性，目前的抠图方法中对于前背景颜色较为复杂的图片处理效果并不理想。本文首先通过采集大量的样本对来估计初始的掩膜值，但是通过采样得到的样本对并不能很好地估计掩膜值，为此定义未知像素与前背景样本点的空间距离和颜色距离函数来对其进行优化。
通过最小化该代价函数来求得最优的样本对，使得最终得到的结果实现了准确性和鲁棒性的良好均衡。自然图像抠图实验结果表明，与其他几种抠图算法相比，本算法在视觉效果上和均差误差上都优于其他算法。
0 引言
抠图就是从一张给定的图片中提取出感兴趣的部分，数字图像抠图可以表示为前景F和背景B的线性组合，即颜色组合公式：
对于图像中的每个像素点（x， y），式（1）中的I（x， y）代表该点的像素值，F（x， y）和B（x， y）代表该点的前景色和背景色的像素值，α代表前景色所占的比例，称之为透明度或者掩膜值，α的取值介于［0， 1］之间，当α=1时表明当前像素是完全前景像素，当α=0时表示当前像素是完全背景像素，而抠图的本质就是求出每个像素点对应的α值。由于式（1）中α、F和B都是未知的，所以式（1）的解具有高度不确定性，因此自然图像抠图实际上是一个不能精确求解的过程。
当前的抠图方法根据研究图像近邻像素的相关性和图像统计，可分为基于采样、基于传播、采样传播相结合三种方法。
其中基于采样的抠图方法通过计算前景和背景的颜色来估计掩膜值，早期的方法如Bayesian Matting［1］、Ruzon-Tomasi［2］、Hillman［3］等都是基于采样的方法，但是通过采样的方法采集到的前景和背景像素的样本点具有不确定性，使得最终得到的掩膜值不够精确；
基于传播的方法不需要通过采集样本点来估计掩膜值，它假设未知像素在一个小窗口内是局部平滑的，再在闭合空间中求解α。Random Walk Matting［4］ 、Closed Form Solution［5］ 、Poisson Matting［6］等都属于基于传播的方法，该方法对大部分图片都能取得较好的结果，但是对一些前景和背景颜色较为复杂的图像，采样与传播相结合的方法能取得更好的结果，如Shared Matting［7］、Robust Matting［8］、Comprehensive Sampling Matting［9］等。
对于复杂的图像，要计算得到精确的掩膜值是比较困难的。本文首先采集大量的与未知像素相邻的样本点，然后通过未知像素与前景和背景样本点的颜色空间距离来定义一个目标函数对其进行优化，从而选出最优的样本对来求图像的掩膜值，最后结合拉普拉斯矩阵和信度值函数对其进行优化得到最终的掩膜值。将本文得到的结果与多种抠图算法进行比较，结果表明本文算法能取得更好的掩膜值。
1 Comprehensive Sampling Sets方法介绍
为了求出每个未知像素的最优样本对，Comprehensive Sampling Sets方法根据光学和图像空间统计来建立一个目标函数：
其中K表示像素点Iz与由式（1）求出的估计值之间的彩色误差：
S表示样本对（F，B）和未知像素的空间距离：
其中SzF是像素z的所有前景样本点的集合，│SzF│表示样本点的个数，SzB与其类似，FiS表示样本点Fi的空间坐标。
C表示图像中的颜色统计：
其中d（Fi， Bi）是Fi和Bi的颜色分布：
是样本 Fi的均值、方差以及样本群的大小。根据目标函数O，从中选出最优的样本对，再根据下式：
计算出一个初始的掩膜值α，然后根据参考文献［7］的方法对初始掩膜值进行优化。
2 基于颜色采样抠图
2.1 区域划分
本文的算法需要用户预先提供一张原图像的trimap图，也叫三分图，它通过用户手工操作得到目标边界的前景、背景和未知区域的精细划分，在得到的三分图中，白色部分即为已知的前景区域，黑色部分为已知的背景区域，灰色部分则是需要计算的未知区域。
区域划分的目的是减少计算的复杂度，因为图像中大部分区域的掩膜值都是已知的，即前景部分的掩膜值为1，背景部分的掩膜值为0，只需要计算未知区域每个像素点的掩膜值。区域划分的准确性对掩膜值有很大的影响，因此，为了使得到的结果更加精确，本文实验所需的三分图都由下载得到。
2.2 初始掩膜值的估计
由式（1）可知，对于一幅彩色图像，该式中α、 F和B都是未知的，所以首先通过采样的方法来采集前景像素样本点F和背景像素样本点B。在本文的算法中，采用参考文献［8］的方法来采样，即沿着己知前景区域和己知背景区域的边界稀疏地采集样本点，这样采集得到的样本集合能够较好地捕捉到前景色或背景色的变化，当采集到足够的样本点之后，再根据式（7）来求初始的missing image file，但是仅仅通过采样得到的missing image file还很粗糙，需要进一步优化。
为了优化初始的掩膜值，定义一个颜色空间代价函数来选择最终的样本对：
其中，
表示当前像素I与由颜色线性组合式（1）得到的估计值的颜色距离，如果当前像素I与颜色组合公式估计的值十分接近，那么（Fi， Bj）就可以作为较优的样本对来估计掩膜值。这个式子在参考文献［8］中首次被提出，在文献参考［9］和［10］中也采用了相同的颜色代价函数，但是由于采集到的样本对较多，仅仅通过式（8）来选择最终的样本对并不可靠，所以接下来定义空间代价函数
：
与参考文献［9］的空间代价函数类似，为每个前景和背景样本点定义一个空间距离函数missing image file和missing image file，式（9）和（10）中missing image file、missing image file和xI代表前景样本点、背景样本点和未知像素的空间坐标，missing image file和missing image file表示已知的前景和背景样本点的集合。
接下来根据颜色代价函数定义Pα，它表示当一个未知像素与前景样本点的颜色较近而与背景样本点的颜色相差较大时，就认为该未知像素很有可能就是一个完全前景像素，因此定义下式：
其中：
当PF趋近于0时，最小化Pα就相当于最小化α；当PF趋近于1时，最小化Pα就相当于最大化α；当PF=0.5时，则Pα是一个常数项。式（11）将会在目标函数中用来求最优的样本对。
结合颜色空间代价函数定义一个选择最终样本对的代价函数：
最小化式（13）来求最优的样本对，并且把求得的最优的样本对记为
：
再利用求得的最优样本对
来重新估计未知像素的掩膜值 。
2.3 掩膜值的优化
在上述算法中已经计算得到一个掩膜值，但是这个掩膜值并不够精确，所以接下来采用闭合式空间中求解的方法对其进行优化。首先采用参考文献［5］的方法构造一个拉普拉斯矩阵，由于抠图问题是典型的不确定问题，因此需要添加一定的约束条件，把求得的掩膜值missing image file和信度值f作为数据项，信度值missing image file，其中σ=0.01，并且结合拉普拉斯矩阵作为约束项来构造一个代价函数：
missing image file
上式中，missing image file和missing image file是权重参数，设为200和0.1，D是一个对角矩阵，已知区域的像素记为1，未知像素的像素记为0，F是对角线元素为信度值f的对角矩阵；对式（15）关于α求导并令导数为0即可求得最终的α，图1所得结果即为最终得到的掩膜值。
3 实验及结果
本文实验均在matlab下完成。实验的系统配置为Inter（R） Core（TM） Quad CPU处理器、2.66 GHz主频以及3.46 GB内存。实验所需图片均由下载得到，其中包括实验原图、trimap图和ground-truth图，如图2所示。本文将5幅图得到的实验结果与Robust Matting［8］，Global Sampling［10］、Comprehensive Sampling Sets ［9］所得的结果进行比较。还计算出各个算法得到的掩膜图与其相应的ground-truth图的均方误差作为算法性能评价的量化指标，如表1所示。
从表1及图3可以看出，通过对5组图片进行实验，本文算法不管是从视觉角度还是均方误差角度都具有明显的优势，其他三种算法中，Comprehensive Sampling Sets最好，Global Sampling次之，Robust Matting效果较差。从实验结果可以看出，Robust Matting对于前背景颜色较为相近的图片处理效果较差， Global Sampling对细节的把握不够精确。本文算法得到的掩膜图不仅在细节部分优于其他3种算法，而且与ground-truth相比，误差最小。
4 结论
本文首先通过采集大量的样本对求出初始的掩膜值，再定义一个颜色空间代价函数来选择最优的样本对，与以前的算法比较，本文利用未知像素与其较近的前景或背景样本点的距离来判断该未知像素是否为完全前景像素或者完全背景像素，并且在最终掩膜值的优化过程中把信度值作为约束项，使得最终得到的结果在细节方面更加精确，而且对于前背景颜色较为相近的图片也能得到较为理想的结果。
参考文献
［1］ Chuang Y Y， Curless B， Salesin D H， et al. A bayesian approach to digital matting［C］。 Computer Vision and Pattern
Recognition， 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on. IEEE， 2001， 2（2）：
264-271.
［2］ Ruzon M A， Tomasi C. Alpha estimation in natural images［C］。 Computer Vision and Pattern Recognition， 2000： Proceedings of IEEE Conference on. IEEE， 2000： 18-25.
［3］ Hillman P， Hannah J， Renshaw D. Alpha channel estimation in high resolution images and image sequences［C］.Computer Vision and Pattern Recognition， 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer SocietyConference on. IEEE， 2001， 1（1）：：1063-1068.
［4］ Grady L， Schiwietz T， Aharon S， et al. Random walks for interactive alpha-matting［C］。 Proceedings of VIIP. 2005，2005： 423-429.
［5］ Levin A， Lischinski D， Weiss Y. A closed-form solution to natural image matting［J］。 Pattern Analysis and MachineIntelligence， IEEE Transactions on， 2008， 30（2）： 228-242.
编辑：jq
-
编程
+关注
关注
88文章
3614浏览量
93685 -
CPU处理器
+关注
关注
0文章
20浏览量
9831
发布评论请先 登录
相关推荐
关于ADS1299采样速度的疑问求解答
电流采样与运放电路分享
STM32的ADC采样及各式滤波算法实现
AIGC算法解析及其发展趋势
电流采样电阻一般选多大 电流采样与运放电路图
电流采样电阻的采样原理
陀螺仪LSM6DSOW开发(5)----MotionFX库解析空间坐标
PGA281数据手册中的图9里边有很多条不同颜色的曲线，它们代表什么意思？
颜色识别传感器：精准捕捉世界的每一抹色彩
工商网监
评论