[发明专利]一种基于自适应可分离卷积的视频质量增强方法

说明书

本发明公开一种基于自适应可分离卷积的视频质量增强方法，将自适应可分离卷积作为第一个模块应用于网络模型当中，将每个二维卷积转化为一对水平方向和垂直方向的一维卷积核，参数量由n²变为n+n。第二，利用网络对于不同输入学习出来的自适应变化的卷积核以实现运动矢量的估计，通过选取连续的两帧作为网络输入，对于每两张连续输入可以得到一对可分离的二维卷积核，而后该2维卷积核被展开成四个1维卷积核，得到的1维卷积核随输入的改变而改变，提高网络自适应性。本发明用一维卷积核取代二维卷积核，使得网络训练模型参数减少，执行效率高。

技术领域

本发明涉及图像处理领域与深度学习技术，尤其涉及一种基于自适应可分离卷积的视频

质量增强方法。

背景技术

去图像和视频的压缩伪影是计算机视觉中的经典问题。该问题的目标是从压缩图像和视频中估计出无损的图像。在这个信息爆炸的时代,互联网和手机上传播的图像和视频日益增多,有损压缩方式如JPEG、WebP等技术被广泛应用于新闻网站、微信、微博等平台以减少视频文件的大小,以节省带宽和传输时间。网页中使用的图像和视频需要尽可能压缩,以加快页面加载速度从而改善用户体验。但是这些压缩算法通常会引入压缩伪影,例如阻塞,后凸,轮廓,模糊和振铃效应等。一般来说,压缩因子越大,由这些伪影引起的视频劣化越严重,导致了视频信息的丢失,直接影响了用户的视觉体验。因此,如何恢复视觉上质量较高的无伪像图像和视频已经引起越来越多的关注。

近年来，随着深度学习的发展，越来越多技术开始应用于如何提高压缩图像和视频的视觉质量上。例如，Dong^[1]等人提出利用3层卷积神经网络(ARCNN)来去除JPEG压缩图像的伪影，并取得了较好的图像去压缩伪影效果。继而yang等人提出了DS-CNN[2,3]用于视频质量增强。但是，上述所提及的这些视频质量增强方法都没有利用相邻帧之间的信息，因此其网络性能在很大程度上受到限制。直到最近，yang等人继续提出MFQE算法[4]，其认为在压缩视频中，由于每帧的质量起伏很大，因此可以使用高质量帧中的信息来增强其相邻低质量帧的质量。但是该方法依赖于光流估计网络估计帧与帧之间的运动，由于光流估计法中很难获取运动估计的ground-truth值，导致效果不突出。

发明内容

本发明的目的在于针对视频高度压缩所产生的伪影问题提供一种基于自适应可分离卷积的视频质量增强方法，有效地去除压缩视频中的各种伪影，显著提高视频质量与视觉效果。

本发明采用的技术方案是：

一种基于自适应可分离卷积的视频质量增强方法，采用系统网络包括一自适应可分离卷积网络和一残差网络，自适应可分离卷积网络用于获取运动补偿帧，残差网络用于去除视频帧的压缩伪影，从而增强视频质量；视频质量增强方法具体步骤如下：

步骤1，挑选高质量视频，形成视频数据库[4,5,6]。

步骤2，对视频数据库进行预处理，形成训练数据集；训练数据集由若干个视频帧的配对集构成，其中表示压缩视频帧的当前帧，表示压缩视频帧后一帧，表示高清视频帧的当前帧，表示高清视频帧的后一帧，

步骤3，输入连续两张压缩的视频帧和利用可分离卷积网络，得到后一帧的预测压缩视频帧

步骤4,对自适应可分离卷积网络得到的预测压缩视频帧与训练集中对应的该帧的原始压缩图像和未压缩图像同时进行归一化和y通道处理，

步骤5,输入压缩的视频帧和预测压缩视频帧利用残差网络模型，得到预测高清视频帧

步骤6：基于预测压缩视频帧和预测高清视频帧计算总代价函数；

步骤7：基于总体代价函数不断更新并优化获得最优的卷积权值参数和偏置参数直到获得最佳效果。

进一步地，步骤2具体包括以下步骤：