[发明专利]基于深度学习的图像去摩尔纹方法

说明书

本发明公开了一种基于深度学习的图像去摩尔纹方法，属于图像处理领域。本发明将图像去摩尔纹的任务分为两个子任务，纹理去除和颜色纠正，针对每个子任务设计专门的模块。对于纹理去除，使用卷积网络拟合一个滤波器；对于颜色纠正，基于通道注意力提升网络在色彩调整上的效果。网络整体使用多分辨率的结构，共六个分支，结合频域和空间域两个方面的特征，最终完成了对高分辨率图像的去摩尔纹工作。

技术领域

本发明涉及图像处理技术领域，尤其是基于深度学习的图像去摩尔纹方法。

背景技术

图像摩尔纹是一种出现在图片上的彩色的不规律条纹，是差拍原理的一种表现。简单地说，当两个不同频率的等幅正弦波叠加时，合成信号的幅度会按照两个频率之差变化，当两者的频率接近时，就会出现摩尔纹。所以如果感光元件里面像素的空间频率与影像中条纹的空间频率接近，就很容易产生摩尔纹。

这种彩色的不规律条纹会严重影响图片的观感，降低图片的质量，严重时还会模糊图片中包含的信息，如图1所示。所以，我们需要一种方法，在保证图片原有信息的同时，去除摩尔纹。

相比较于传统的图像恢复任务，类似于去噪去雾等，去摩尔纹更加困难。因为，在空间上，摩尔纹覆盖面积广，同时，不同区域的摩尔纹形状颜色会各不相同；在频域上，摩尔纹出现的频段不固定，并且通常一张图片中的摩尔纹会占据好几个频段，如图2的小波变换图所示。摩尔纹的这些特性使得传统的图像恢复方法并不使用于图像去摩尔纹，我们需要设计一个新的针对性的方案，专门用于摩尔纹的去除任务。

随着神经网络的发展和应用的推广，越来越多的问题都可以用它解决，并且取得良好的效果，图像去摩尔纹任务也不例外。2017年，Anselm等人使用一个简单的全卷积网络增强图像的质量，去除图像上大规模分布的摩尔纹。他们设计的网络由一个输入层、五个隐藏层和一个输出层组成，激活函数选择使用ReLU函数，考虑到摩尔纹在空间上的分布广泛，卷积核的大小K被设置为一个固定的值11。该网络结构简单，因此很容易移植到GPU或者硬件上，成为相机内的一个处理步骤，但它对于去除摩尔纹的效果非常有限。

2018年Sun等人使用全卷积网络在不同的分辨率图片中去摩尔纹，最上层的分支处理原图分辨率的图片，越往下层处理的图片分辨率越小，一共有五个分支。降采样使用的是两层卷积神经网络，两层卷积神经网络后接的是五层不改变分辨率大小的卷积神经网络，它的作用是消除特定频率段的摩尔纹。在这之后，采用反卷积神经网络对不同分辨率的图片进行放大，使得它们都和原图大小一致，并添加一层卷积神经网络被用来改变通道数量。最后五个分支的结果都被简单的加和，得到最终的输出。虽然该网络使用了多分支的结构，但是对于不同分支不同分辨率的图片所采用的处理网络结构相同，但不同分辨率的图片所蕴含的信息是有差异的。所以，该网络对于小尺度的摩尔纹的去除效果非常好，但是当遇到非常大尺度的摩尔纹，该网络的处理效果就会变得特别有限。

同年Liu等人设计了一个深度卷积神经网络DCNN，由粗调整和细节优化两部分组成。粗调整部分的主体是16个残差网络结构，处理的是降采样后的图像；细节优化部分首先是残差学习阶段，目的是将粗调整后的图像升采样，并且使用VDSR得到高分辨率的图像；检索阶段接收残差学习阶段的输出，与原始的输入合并后使用两个卷积层处理得到最终的结果。Liu等人将GAN引入到网络的训练过程中，目的是让网络输出的结果更加接近真实的相机拍摄的图片。这个结构能够有效地去除摄像机获得的图像的摩尔纹，但是这一结构使用了多层残差结构，网络层数多，损失函数单一，训练方法复杂，图片处理需要很长的时间。