[发明专利]一种基于非局部网络的视频压缩失真复原方法及系统

说明书

本发明公开了一种基于非局部网络的视频压缩失真复原方法及系统，该方法包括：利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息；利用S11得到的空间域信息以及时间域信息分别对视频进行复原，得到空间域复原结果以及时间域复原结果；通过S12得到的空间域复原结果以及时间域复原结果得到最终复原结果。该系统包括：依次连接的空间域信息以及时间域信息获取模块、空间域复原结果以及时间域复原结果获得模块以及最终复原结果获得模块。本发明的基于非局部网络的视频压缩失真复原方法及系统，通过非局部网络间接的得到运动信息，减少了视频压缩失真，提升了视频主观质量。

技术领域

本发明涉及视频处理技术领域，特别涉及一种基于非局部网络的视频压缩失真复原方法及系统。

背景技术

视频经过压缩传输之后，在解码端会有压缩失真的存在。压缩失真会影响到视频的观看质量，降低用户的观看体验。为此就需要在解码端进行对应的后处理，从而减少计算复杂度。常用的后处理方法就是基于深度学习的压缩失真复原。一般来讲，为了提升压缩失真的复原效果，就需要获取对应的运动矢量。其中一个常用的方法就是用基于深度学习的光流网络估计运动矢量，从而进行后续的运动补偿和细化。但是由于光流运动估计本身就不是就有可能产生不可靠的运动矢量，因此对于光流网络的依赖就会对后续的压缩失真复原造成影响。与此同时，由于光流估计的计算复杂度较高，因此整个压缩失真复原方法也较为复杂。

发明内容

本发明针对上述现有技术中存在的问题，提出一种基于非局部网络的视频压缩失真复原方法及系统，基于非局部网络的压缩失真复原方法不直接估计运动矢量，而是通过非局部网络间接的得到运动信息，能够减少由于不准确运动矢量导致的误差。

为解决上述技术问题，本发明是通过如下技术方案实现的：

本发明提供一种基于非局部网络的视频压缩失真复原方法，其包括：

S11：利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息；

S12：利用所述S11得到的空间域信息以及时间域信息分别对视频进行复原，得到空间域复原结果以及时间域复原结果；

S13：通过所述S12得到的空间域复原结果以及时间域复原结果得到最终复原结果。

较佳地，所述S11中的利用非局部网络来分别提取经过压缩传输后的视频的空间域信息以及时间域信息中,特征与之间的相似性经过卷积变换后的特征经过所述非局部网络细化后输出的特征的公式分别为:

其中，R^x、R^y分别代表通过神经网络提取得到的特征，作为非局部网络单元的输入，代表R^x中每个位置处的向量，代表R^y中每个位置处的向量，ω代表衡量相似度的函数，g代表变换函数，W_θ、W_φ、W_g、W_z分别代表通过非局部网络学习得到的权重矩阵。

较佳地，所述S11中用于提取所述空间域信息的非局部网络包括：

所述空间域的非局部网络的输入是当前时刻的压缩图像，首先经过卷积层，随后经过残差网络以及非局部网络，最后通过卷积得到对应的输出信息，也就是当前时刻通过空间域信息得到的复原图像。

较佳地，所述S12中用于提取所述时间域信息的非局部网络包括：

所述时间域的非局部网络的输入为前一个时刻的压缩图像以及当前时刻的压缩图像，然后分别经过对应的残差单元提取前一个时刻的特征以及当前时刻的特征，随后将这两个特征输入给前述的非局部网络，得到细化后的特征，随后细化后的特征经过卷积单元，得到通过时间域信息得到的复原帧。