[发明专利]一种基于卷积神经网络的高质量彩色图像去马赛克方法

说明书

本发明公开的一种基于卷积神经网络的高质量彩色图像去马赛克方法，属于图像信号处理领域。本发明在彩色图像去马赛克过程中考虑不大幅增加计算量的情况下充分利用图像的自相似性与冗余信息，设计彩色图像去马赛克网络，用彩色图像去马赛克网络表示由马赛克图像到彩色图像的端到端的映射；制作用于训练所设计的彩色图像去马赛克网络的训练集；配置彩色图像去马赛克网络训练所需的参数；利用制作的训练集使用随机梯度下降法更新网络参数；使用训练得到网络模型直接重建任意分辨率的目标彩色图像，得到高质量的彩色图像。本发明具有重建效率高、重建彩色图像质量高的优点。本发明可用于所有基于拜尔彩色滤波器阵列的相机中完成图像去马赛克任务。

技术领域

本发明涉及一种用于彩色图像去马赛克方法，尤其涉及能够快速获取高质量彩色图像的方法，属于图像信号处理领域。

背景技术

单电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器与彩色滤波器阵列(CFA)广泛应用于现代彩色数码相机。CFA的布局设计会由于相机类型而有所不同，最常使用的拜尔滤波器阵列(Bayer CFA)。与传感器的类型无关，每个传感器元件根据具体的CFA在R、G、B三种颜色中只记录一个强度值。针对CFA颜色通道输出的不完全采样重建全彩色图像，即重建每个像素的完整RGB三色组合，这个重建过程即为彩色图像去马赛克。图像去马赛克作为获取彩色图像的开始阶段，快速而高质量的图像去马赛克对于实际应用非常重要。

在过去的几十年里，人们提出了许多图像去马赛克方法。基于插值的方法，如双线性插值、双三次插值、样条插值等，对每个颜色通道分别进行插值，不能有效利用不同颜色通道之间的相关性。随后引入各种先验对通道间相关性进行建模，如积分梯度、稀疏度、局部和非局部自相似性、残差插值。Wu Xiaolin、Yu Guoshen等人提出了基于自然图像稀疏表示的图像去马赛克方法，假设图像中的patch允许字典上的稀疏编码。多项工作表明，利用图像的自相似性和冗余度可以有效地消除初始图像去马赛克结果产生的插值伪影，但它们需要大量的计算时间，因此限制了它们对低资源设备的适用性。在最近的一种趋势中，提出了基于残差插值(RI)的算法来插值一个初步估计的像素值和一个相应的观测像素值之间的差值，该算法对图像稀疏残差先验进行了探索。然而，这些基于手工制作的先验方法仍然不能重建复杂的结构，并显示出明显的伪影，例如拉链，彩色失真。

最近的替代方法利用卷积神经网络(CNN)来减轻对手工制作的先验的依赖，并取得了显著的进展。Tan等人首先对G通道进行了恢复，并用它来指导R/G/B通道的重建，用于图像重建。Cui等人提出了一种用于图像去马赛克的三阶段CNN结构。它首先重构了G通道，然后利用两个独立的网络在G引导下重构图像R通道和B通道。在第三阶段，将得到的R/G/B通道串联起来，输入CNN，进一步挖掘相关性。此外，Gharbi等人设计了12层完整的CNN来进行图像去马赛克和去噪。Kokkinos等人采用迭代方法对CNN进行联合去马赛克和去噪。然而，这些方法通常将双线性插值初始化的图像作为网络的输入，或者保持所有特征图的分辨率与输入保持一致。在平衡计算复杂度时，限制了感受野的扩展，阻碍了网络有效地利用图像的自相似性和冗余。

发明内容

针对现有基于卷积神经网络算法在一定计算限制下无法充分利用自然图像的自相似性及冗余信息来重建彩色图像，当无法正确地从局部像素推断出局部几何信息，很容易造成如摩尔纹等插值失真，在很多场景下存在重建图像质量低等问题，本发明公开的一种基于卷积神经网络的高质量彩色图像去马赛克方法要解决的技术问题是：在保证重建速度快的前提下，基于卷积神经网络对马赛克图像去马赛克化，能够有效地利用马赛克图像的自相似性和冗余性，得到高质量的彩色图像，具有重建图像质量高的优点。

为达到以上目的，本发明采用以下技术方案。