[发明专利]基于可变块的图像空洞区域修补方法

说明书

技术领域

本发明属于图像处理、计算机视觉、计算机图形学和虚拟现实领域，具体地说是一种基于可变块的图像空洞区域修补方法。

背景技术

早在文艺复兴时期，人们就开始修复中世纪的一些艺术品，目的是通过填补一些裂缝来使中世纪的一些图画得到翻新，这样的工作被称作“Retouching（润饰）”或者“Inpainting（修补或修复）”。那时的修复工作主要是由专业修复师手工完成的，需要花费大量的时间和工作量。

受博物馆艺术家人工修复工作的启发，计算机图形学领域的学者尝试使用图形学算法来模仿手工修复的方法，利用当前图像中的已知信息来移去目标图像上不需要的景物或者对有信息缺损的图像进行恢复，使得修复后的图像看起来和谐、自然，保证修补后的目标图像画面在结构、纹理和亮度上连续和一致，这就是图像修补技术。

一般来说，图像修补技术主要包括三个步骤，即1）首先输入待修补的目标图像；2）由用户交互指定目标图像上待修补的区域；3）以待修补区域周围的已知信息作为约束，从目标图像上的已知信息区域监测和拷贝可利用的信息来填充信息丢失区域中的像素。

目前主要存在三类图像修复技术：基于结构的图像修复（inpainting）技术，基于纹理合成的图像补全（completion）技术和结合结构与纹理的技术。

基于结构的图像修复技术最早是由Bertalmio等人引入到图像处理中，他们在每个信道上使用2D Laplacian方法估计局部颜色的光滑度，然后利用光滑度将待修补区域边界的等值线（Isophotes）外部的信息沿轮廓法向各向异性地扩散到内部待修补的像素上，保证了图像边缘处的边界连续性。后来，他们又将流体力学中的Navier-Stokes方程应用于图像修复，提出一种基于Navier-Stokes方程的图像修补算法。Tony F.Chan和JianhongShen通过求解结构曲率驱动下的三阶非线性扩散偏微分方程，达到对非纹理性的目标图像进行视觉连续性修复的目的。

Chan等人还提出基于整体变分TV（Total Variation）模型的图像修补算法，通过欧拉-拉格朗日方程的约束和基于曲率的各向异性扩散CDD（Curvature Driven Diffusion）过程来保证修复区域和原始图像的无缝拼接。

基于结构的图像修复技术在图像的光滑性假设下，通过拟合函数的重采样获得空洞区域的颜色信息。它可以较好的修补小尺寸的信息丢失区域；然而，它在修补较大信息丢失区域时容易产生模糊效果，而且对于具有高度纹理特性的较大受损区域更是无能为力。

基于纹理合成的方法是将空洞周围的已知信息区域看作纹理样本，然后通过纹理合成的方法产生新的图像块来填补丢失信息区域。基于面片的图像修补方法采用由粗到细的方式，从图像上的信息已知区域中采集与待修复像素的邻域具有最佳相似性的面片进行填充，逐步迭代逼近整个受损区域。Criminisi等人的方法首先把丢失信息区域边界上的待修补面片按一定的优先级进行排序，然后在整幅图像内搜索与优先级高的像素邻域最匹配的区域来逐步填补待修复区域。由于在修补过程中考虑到了结构信息的重要性，加强了具有较强结构信息的局部区域的修补优先级，这种方法获得了非常好的效果，成为图像修补技术发展过程中的一个里程碑。

结合结构与纹理的技术主要是考虑到利用基于结构的方法对结构信息敏感却难以处理纹理信息，而基于纹理合成的方法易于修复纹理信息却对结构信息缺乏控制，所以把两种方法结合起来以完成更好的修复效果。Bertalmio等人提出基于图像分解的方法，算法首先把输入图像分解为结构图和纹理图，然后采用基于结构的方法修补结构图，采用基于纹理合成的方法修补纹理图，最后合并修复好的两幅子图像得到原始图像的修复结果。此方法将图像中的结构和纹理信息分开处理，避免了互相干扰，因此修复过程只需考虑图像的单一特性，能够有效恢复带有一定结构信息的图像。但是算法复杂度较高，整个修复过程耗时较大。

发明内容

本发明的目的是提供一种基于可变块的图像空洞区域修补方法，该方法能够在纹理条件复杂或较恒定的情况下均较好地保留纹理细节，能够同时修复纹理信息和结构信息。

本发明采用的技术方案如下：

一种基于可变块的图像空洞区域修补方法，包括以下步骤：

步骤1，设定块的初始尺寸，在输入图像上寻找待修补区域的边界；