[发明专利]一种基于显著图的可变块图像修复方法

说明书

技术领域

本发明属于计算机视觉、计算机图形学领域，特别涉及一种基于显著图的可变块图像修复方法。

技术背景

图像修补技术具有广泛的应用领域，主要包括受损照片修复和数字视觉特效两大方面。由于保管条件或人为等种种因素，一些具有极高的收藏价值和历史价值的美术作品或老照片出现裂痕和划痕，因此对这些文物和数据进行修复具有十分重要的意义。通过数字图像修补技术，只需确定待修复的区域，计算机就可以按照指定的算法进行修复，避免了手工修复耗费的大量时间。同时，在数字视觉特效制作和虚拟现实领域方面的应用主要涉及物体的移除和场景编辑。具体应用包括对获取的场景照片中的闯入者或者固定遮挡物的移除。

图像修复的问题可以如下概括：给定一幅图像，可能有残缺部分或者有需要移除的部分,然后以一种符合视觉需求的方式填补待修复区域。尽管图像修复的问题看起来简单，但是要使修复后的图像尽如人意却是非常之难。近些年涌现出大量的图像修补算法，而其大概可以归为三类：基于统计的方法，基于偏微分方程的方法，基于块的方法。

基于统计的方法主要用在纹理合成上，通过参数统计模型提取输入纹理的统计数据，再调整输出图像直到其统计数据与输入相匹配。这类方法的主要缺点是其统计模型只适用于纹理合成，对包含结构信息的图像修复效果不佳。基于偏微分方程的方法将图像修补看作是将空洞周围已知像素作为边界条件下的偏微分方程或变分求解问题，因此图像修补变成已知信息向丢失信息区域的扩散过程。基于偏微分方程的方法可以很好的保存结构信息，然而在处理较大信息丢失区域或者纹理丰富的图片时，会产生模糊的修补结果。

而至今为止修复效果最好一类的就是基于块的方法，这些方法以块为单位，通过复制已知区域的内容到未知区域来实现修复。然而这些方法受限于两点：其修复的贪婪性和块大小选择对修复效果的影响。尽管已有一些基于全局最优的方法试图解决其贪婪性，然而结果表明这些方法只是减轻其贪婪性，同时带来了大量的计算复杂度。同样的，在块大小选择的问题上，如果块选择过小，则不能充分考虑局部的纹理特性，如果块选择过大则可能导致块内包含过多结构信息，不利于修复。同时，块过大也易受视差和小角度旋转的影响。一般方法都是人为的选择比能包含已知区域最大可分辨纹理的块大小，而很多情况下同样的块大小不能满足所有未知区域修复的要求。

本发明在基于块的方法基础上，利用显著信息减轻修复过程中的贪婪问题，同时根据待修复区域周围环境选择块大小以满足不同的修复需求。

发明内容

为了克服现有数字图像修补技术存在的上述问题，本发明提供一种基于显著图的可变块图像修复方法，其根据待修复图像的已知区域信息修复未知区域得到视觉上合理的修复图像，以待修复图像的显著信息来改进修复的优先级，缓解修复过程中的贪婪问题，同时可以根据块周围的环境调整块大小以满足不同的修复需求。

本发明提供的基于显著图的可变块图像修复方法，包括以下步骤：

1)、输入含有已知区域及未知区域的待修复图像，利用模拟生物体视觉注意机制的选择性注意模型，根据像素点颜色、亮度、方向特征与周边背景特征的对比，得到待修复图像所有点的显著度构成一张显著图；

2)、确定未知区域边界上的点的修复优先级，分别计算每一点为中心的块内的可信度——已知像素百分比，结构信息及显著度项，将三者的乘积作为修复优先级；并选出优先级最高的点为中心的块作为待修复块；

3)、在待修复块周围不同像素大小(如5*5，7*7，…，17*17)的块中，找出相邻的块之间已知的像素均值、梯度及显著度变化最大的相邻块，调整待修复块的大小为该相邻块中较小块的大小(即选择该相邻块中较小块的大小作为待修复块的大小)；使调整后的待修复块与该相邻块中较大块内已知的像素均值、梯度及显著度变化最大；

4)、依据待修复块内像素颜色值及平均显著度，在已知区域搜索最匹配的块来填充待修复块内的像素；然后根据匹配代价更新已修复像素的可信度，并利用该匹配块内平均显著度更新修复像素的显著度；其中，该匹配代价是待修复块与搜索到的最匹配块内像素颜色值的欧氏距离和显著度的差的绝对值；

循环重复步骤2)-4)，直至填满待修复图像的未知区域内的所有像素。

上述图像修复方法中，采用的一种待修复图像的显著图生成方法，包括以下步骤：