[发明专利]一种基于卷积神经网络的高质量彩色图像去马赛克方法

权利要求书

1.一种基于卷积神经网络的高质量彩色图像去马赛克方法，其特征在于：包括以下步骤，

步骤1：设计彩色图像去马赛克网络，通过所设计的彩色图像去马赛克网络表示由马赛克图像到彩色图像的端到端的映射；

步骤2：制作用于训练步骤1所设计的彩色图像去马赛克网络FPCAN的训练集；每张用于训练的彩色图像划分为多个h×w×3的小彩色图像，以获得更多的训练图像，再将用于训练的小彩色图像生成对应网络输入的小马赛克图像，将所有小马赛克图像与对应的小彩色图像汇总成训练所需的数据集，即实现用于训练步骤1所设计的彩色图像去马赛克网络FPCAN的训练集；

步骤3：对步骤1设计的彩色图像去马赛克网络FPCAN，配置训练网络所需参数；所需参数包括学习率、批处理大小、权值初始化方式、权值衰减系数、优化方法、迭代次数；

步骤4：使用步骤2制作完成的训练集训练步骤3设置后的彩色图像去马赛克网络FPCAN，得到训练后的彩色图像去马赛克网络FPCAN；

步骤5：使用步骤4训练后的彩色图像去马赛克网络FPCAN将马赛克图像作为输入，重建高质量的彩色图像；

其中，由于彩色图像去马赛克网络中感受野的大小与图像自相似性信息获取具有对应关系，所述对应关系指越大的感受野越容易获得马赛克图像自相似性信息，有助于提高重建图像质量，因此，为了在获取大的感受野和计算量之间取得平衡，设计彩色图像去马赛克网络，所述彩色图像去马赛克网络是全卷积特征金字塔网络，同时在所述彩色图像去马赛克网络中引入通道注意力机制，通过对卷积特征图通道间的相关性建模，灵活地调整通道特征，即实现通过所设计的彩色图像去马赛克网络来表示由马赛克图像到彩色图像的端到端的映射；

步骤1所述的设计彩色图像去马赛克网络具体实现方法如下，

为了达到高精度和高效率，提出用于彩色图像去马赛克的深度结构，所述彩色图像去马赛克网络是全卷积特征金字塔通道注意力网络FPCAN，对于拜耳彩色滤波器阵列CFA，提出的网络FPCAN与之前以双线性插值后的图像作为输入的网络有所不同，首先将图像压缩成四分之一分辨率的多通道图像，并将其输入到网络FPCAN中，进而降低后续步骤的计算成本；设计的彩色图像去马赛克网络FPCAN由浅层特征提取块、多个深度下采样块、多个上采样和特征融合块以及重建块四部分组成；除非另外指定，在所有卷积核大小为m×m的卷积层中，步长被设置为1，四周填充的大小为进而确保每个特征图feature map的大小与输入相同；

将彩色图像去马赛克网络FPCAN的输入马赛克图像、压缩后的多通道图像、网络的输出分别记为

在浅层特征提取块，使用卷积核大小为3×3的卷积层，以及修正线性单元ReLU激活函数从压缩后的多通道图像X提取特征图F₀：

F₀＝H_SFEB(X) (1)

其中H_SFEB(·)表示浅层特征提取操作，

通过公式(2)实现链式连接多个深度下采样块：

F_k＝H_DDB,k(F_k-1),k＝1,2,…，m. (2)

其中H_DDB,k(·)表示第k个深度下采样块，深度下采样块由卷积下采样层，ReLU激活函数，重复D次的卷积层和激活函数块，以及通道注意力模块组成；对于卷积下采样层，使用卷积核大小为m×m，步长为2的卷积层，并且输出的特征图通道数是输入特征图通道数的两倍；

由公式(2)输出的最后的特征图F_m作为多个上采样和特征融合块的输入；

其中Concat(·，·)表示在通道维度拼接特征图；H_UP,k(·)和H_FF,k(·)分别表示第k个上采样模块和第k个特征融合模块；对于特征融合模块，使用卷积核大小为1×1的卷积层融合浅层特征和从上采样模块得到的深层特征，并且输出的特征通道数减半；然后重复D-1次的卷积层及ReLU激活函数块进一步深层特征提取；

最后，按照如公式(3)所示的多个上采样和特征融合块处理，得到特征图Q₀作为重建块的输入；最终的彩色图像由重建块输出：

R＝H_RB(Q₀) (4)

其中H_RB(·)表示重建块，重建块由卷积核大小1×1的卷积层，ReLU激活函数，以及亚像素卷积层组成。