[发明专利]基于深度神经网络的视频压缩感知与重构方法和装置

权利要求书

1.一种基于深度神经网络的视频压缩感知与重构方法，其特征在于，该方法具体步骤如下：

构建用于对视频非关键帧进行重构的深度神经网络模块，包含构建自适应采样模块、多假设预测模块和残差重构模块构成的端到端的深度神经网络；

输入视频序列，将视频序列分为多个图片组，确定每一个图片组的关键帧和非关键帧；对关键帧进行重构得到重构后的关键帧；

利用所训练完成的深度神经网络对视频序列的非关键帧进行重构；

将重构的关键帧和深度神经网络输出的重构的非关键帧按顺序排列即为所得重构视频信号；

其中构建深度神经网络模块的具体方法包括：输入用于网络训练的视频序列；将视频信号序列分为多个图片组，确定每一个图片组的关键帧和非关键帧；将非关键帧分为多个互不重叠的图像块；

构建自适应采样模块：对非关键帧中每个图像块进行自适应采样得到图像块采样值；

构建多假设预测模块：确定每个图像块对应的假设块；对非关键帧中的每个图像块利用对应的假设块进行自适应采样得到假设块的采样值，根据假设块采样值和图像块采样值，计算每个图像块的预测值，得到多假设预测图像；

构建残差重构模块：对多假设预测图像进行自适应采样，构建多假设预测图像采样值与非关键帧采样值的残差值，根据残差值利用残差重构方法得到非关键帧重构；

将构建的自适应采样模块与多假设预测模块进行级联构建子网络，对子网络进行训练，将子网络预训练得到的参数作为初始值，对整个深度神经网络进行训练，得到训练完成的深度神经网络；

确定每个图像块对应的假设块的具体方法为：

对于非关键帧中每一个b·b图像块，以其位置为中心，在关键帧中框定一个大小为W×W的矩形搜索窗，将搜索窗中所有的重叠的图像块提取作为当前图像块的假设块；将非关键帧中每一个图像块的所有假设块整合在一起，可得一个h×w×(b·b)×n的假设块张量，其中，n代表了每一个图像块对应的假设块的个数，h×w代表待预测的图像块的个数，b·b为假设块的维度；

构建残差重构模块的具体方法为：

多假设预测图像进行自适应采样，得到多假设预测图像的采样值，维度大小为h×w×(SR·b·b)；

将多假设采样值与基于图像块采样值得非关键帧采样值相减，得到残差采样值；

将残差采样值通过一个卷积层，转换成一个大小为h×w×(b·b)的特征图；此卷积层的卷积核大小为1×1，输入信道数为SR·b·b，输出信道数为b·b；

将输出特征图进行变形，得到一个(h·b)×(w·b)大小的特征图；

利用卷积层对得到的特征图进行卷积，得到残差图像的重构结果；

得到的残差重构结果与多假设预测图像相加，输出最后的非关键帧重构值。

2.根据权利要求1所述的一种基于深度神经网络的视频压缩感知与重构方法，其特征在于，计算每个图像块预测值的计算公式如下：

其中，P_i为当前非关键帧中第i个图像块块的预测结果，h_i，j为第i个图像块中第j个假设块，ω_i，j为此假设块的权重，q_i，j为利用自适应采样对假设块进行采样的结果，y_i为第i个图像块的自适应采样值，p(·)为一个非线性映射函数，用于将采样值从低维转换成高维。