[发明专利]一种基于深度学习的图像增强方法

说明书

技术领域

本发明属于图像处理领域，更具体的说涉及一种基于深度学习的图像增强方法。

背景技术

不论我们用PC、平板还是手机任何一种方式获取内容，都会发现，视频的增长正如日中天，它几乎已经统治了我们的互联网世界，同时可以出现在任何地方，比如社交账号、新闻或是电子邮件中。

视频的传播离不开网络的传输，由于带宽的限制，视频在传输时必然要进行压缩，压缩的本质是削弱视频的高频分量，这必然会带来视频的模糊，在压缩率较大时，在视频图像边缘附近还会出现一些弱纹理，整体感觉视频图像变脏，本发明中将这些脏东西称为编码噪声。

本发明从解决视频模糊和编码噪声问题出发，发明了一种基于深度学习的图像增强方法，使得处理之后的视频细节锐利清晰，有效抑制编码噪声，给用户较强的主观感受。

发明内容

本发明提供了一个基于深度学习的图像增强方法及系统，此方法及系统由样本采集制作模块、离线学习模块和在线处理模块组成。样本采集制作模块非常关键，其决定了深度学习网络的能力；离线学习模块通过构建一个深度学习网络，并使用大量采集制作的样本学习出深度学习网络参数；在线处理模块将需要处理的视频输入到学习好的深度网络中，得到图像边缘清晰锐利且削弱编码噪声的视频。

为了解决上述技术问题，本发明的技术方案为：一种基于深度学习的图像增强方法，依次包括有样本采集制作、离线学习和在线处理三个步骤；所述样本采集制作按照如下步骤：

Y1采集自然图像，并将图像缩放到标准大小，得到图像集A，

Y2对图像集A计算图像整体方差，去除方差低于阈值的图像，得到图像集B，

Y3对B图像集进行高斯模糊，得到图像集C，

Y4对图像集C添加高斯白噪声，得到图像集D，

Y5对图像集D使用设定编码质量参数进行jpeg编码压缩，得到jpeg图像集E，

Y6读取图像集B和E，并将图像数据转换至YUV平面数据格式，

Y7按照重叠扫描规则对图像集B的Y平面数据提取一定大小的图像块，并将图像块数据归一化至[0,1]范围内，得到归一化图像块数据集{Yi}，

Y8按照重叠扫描规则对图像集E的Y平面数据提取一定大小的图像块，并将图像块数据归一化至[0,1]范围内，得到归一化的图像块数据集{Xi}；

所述离线学习按照如下步骤：

L1将{Xi}作为网络的输入数据；

L2将输入数据进行m次卷积滤波操作，得到m个特征图，

L3将m个特征图进行重组形成n个新的特征图，

L4将n个特征图进行卷积滤波操作并进行合并累加形成最终的输出图像；

L5训练深度学习网络，学习端到端的映射函数F需要估计参数Θ＝{W1,W2,W3,B1,B2,B3}，可以通过最小化重建图像F(X；Θ)和基准图的代价来实现；

所述在线处理按照如下步骤：

Z1对视频数据的每一帧进行解码至YUV平面格式，提取出Y平面数据并将数据归一化至[0,1]范围内，得到Yinput，UV平面数据保持不变，

Z2将Yinput输入至深度学习网络，对输入进行m次卷积滤波操作，得到m个特征图，

Z3将m个特征图进行重组形成n个新的特征图，

Z4将n个特征图进行卷积滤波操作并进行合并累加形成最终的输出图像，

Z5Youtput＝CLIP(Yinput*255)，CLIP(x)函数为将x的值限制的设定范围内，一般图像数据中x的范围为[0,255]，

Z6将Youtput和UV重新压缩编码形成视频文件。

进一步的，所述离线学习的L2步骤，其操作公式为F1(X)＝max(0,W1*X+B1)，其中X为图像块数据，W1为卷积滤波系数，B1为偏置项，max为取大于等于0的值。

进一步的，，所述离线学习的L3步骤，其操作公式为F2(X)＝max(0,W2*F1(X)+B2)，其中X为图像块数据，W2为卷积滤波系数，B2为偏置项。

进一步的，所述离线学习的L4步骤，其操作公式为F(X)＝W3*F2(X)+B3，其中W3为卷积滤波系数，B3为偏置项。

进一步的，所述离线学习的L5步骤，其代价函数可以定义为：其中n为训练样本的总个数，Xi为输入图像块，即图像集{Xi}中的图像块数据，Yi为基准输出图像块，即图像集{Yi}中的图像块数据。此代价函数可以通过随机梯度下降法可以求得估计参数Θ。