[发明专利]基于感知保持卷积网络的图像质量增强方法

摘要

本发明公开了一种基于感知保持卷积网络的图像质量增强方法，解决了手机由于硬件限制造成的拍摄图像质量不如单反相机的问题。实现步骤为：收集训练使用的图像块对；使用二维卷积层、一维卷积层、空洞卷积层或一维空洞卷积层构建不同的图像质量增强网络GT和GS；构建图像质量判别器网络D；训练图像质量增强教师网络GT和图像质量判别器网络D，结合知识蒸馏训练图像质量增强学生网络GS；使用训练好的网络进行图像增强。本发明以非对称方式组合的一维卷积以及空洞卷积来扩展网络对图像的感受野，使用知识蒸馏提升具有相同结构，规模较小的图像质量增强网络的图像增强效果，降低了计算机资源消耗，可用于移动设备的图像质量增强服务。

主权项

1.一种基于感知保持卷积网络的图像质量增强方法，其特征在于，包括有如下步骤：/n步骤1)收集训练使用的图像块对：对同一场景下的手机拍摄图像和单反相机拍摄图像进行裁剪，得到训练卷积神经网络所要使用的手机拍摄图像的图像块和单反相机拍摄图像的图像块，共同组成图像块对作为训练集；/n步骤2)构建图像质量增强网络：使用二维卷积层、一维卷积层、空洞卷积层或一维空洞卷积层构建不同的图像质量增强网络；/n(2a)构建层数较多的M图像质量增强教师网络G_T：首先使用以非对称方式组合的两个一维卷积层、再使用由两个二维卷积层构成的残差模块和由两个空洞卷积层构成的残差模块，最后再使用两个二维卷积层，依次连接构建网络层数较多的M图像质量增强教师网络G_T；/n(2b)构建层数较少的N图像质量增强学生网络G_S：首先使用以非对称方式组合的两个一维卷积层、再使用以非对称方式组合的两个一维空洞卷积层构成的残差模块，最后再使用一个二维卷积层，依次连接构建网络层数较少的N图像质量增强教师网络G_S；/n步骤3)构建图像质量判别器网络：用卷积层和全连接层构建图像质量判别器网络D；/n步骤4)训练图像质量增强教师网络G_T，结合知识蒸馏训练图像质量增强学生网络G_S：载入训练集训练图像质量增强网络和图像质量判别器网络，并采用先训练图像质量判别器D再训练图像质量增强网络的轮流迭代方式进行训练；/n(4a)，训练判别器网络：训练判别器网络D时，将随机选取的标签为手机图像的手机拍摄图像的图像块和标签为单反图像的单反相机拍摄图像的图像块作为判别器网络D的输入，将对应的标签值作为训练目标；/n(4b)，训练图像质量增强教师网络G_T：训练图像质量增强网络G_T时，将标签为手机图像的手机拍摄图像的图像块作为图像质量增强网络G_T的输入，将对应图像内容相同的单反相机拍摄图像的图像块作为图像质量增强G_T的训练目标；/n(4c)，训练图像质量增强学生网络G_S：训练图像质量增强网络G_S时，将标签为手机图像的手机拍摄图像的图像块作为图像质量增强网络G_S的输入，将对应图像内容相同的单反相机拍摄图像的图像块作为图像质量增强G_S的训练目标；/n(4d)，联合训练判别器网络和图像质量增强网络：采用轮流迭代的方式先训练判别器网络D和图像质量增强网络G_T，仍然采用轮流迭代的方式再训练判别器网络D和图像质量增强网络G_S，并在训练图像质量增强网络G_S时运用已训练好的图像质量增强网络G_T，采用知识蒸馏联合训练；得到图像质量增强网络G_S；训练完毕，得到训练完成的图像质量增强网络G_T和训练图像质量增强网络G_S；/n步骤5)使用训练好的网络进行图像增强：输入待增强的图像，使用训练好的教师图像质量增强网络G_T对输入图像进行增强，得到增强处理速度较慢但图像质量增强效果相对较好的图像，使用训练好的学生图像质量增强网络G_S对输入图像进行增强，得到增强处理速度较快但图像质量增强效果相对较差的图像。/n