[发明专利]基于深度神经网络的视频压缩感知与重构方法和装置

说明书

本发明公开了一种基于深度神经网络的视频压缩感知与重构方法和装置。此方法将视频信号划分为关键帧与非关键帧。对于关键帧，采用已有的图像重构方法进行重构。对于非关键帧，此方法创新性的提出了一种特殊的深度神经网络来完成重构。此神经网络由自适应采样模块，多假设预测模块，残差重构模块组成，充分利用了视频信号的时空相关性来完成视频信号的采样与重构，在提高重构质量的同时，保证了算法的低时间复杂度。因此，本发明方法适用于采样端资源受限、对重构质量要求高、对实时性要求高的视频传感系统。

技术领域

本发明涉及一种基于深度神经网络的视频压缩感知与重构方法和装置，属于视频图像处理技术领域。

背景技术

目前，信息社会不断发展，对图像、视频等高维信号的采集与处理的需求日益增加。在传统的视频采集系统中，视频传感器往往会先根据奈奎斯特采样定律(Nyquist–Shannon sampling theorem)采集大量的、冗余的视频信号，然后利用视频压缩技术在编码端对信号进行压缩，以减少传输带宽和存储的压力。该做法造成了巨大的采样资源的浪费，并且，在一些编码端资源受限的应用中，如无线视频传感网(Wireless Video SensingNetworks,WVSNs)，高复杂度的压缩编码往往难以在编码端应用。近年来，视频压缩感知(Compressive Video Sensing，CVS)技术被广泛应用于无线视频传感网当中。它在编码端利用单像素相机(single pixel camera)等设备，将采样与压缩融合为一个低复杂度的线性投影，得到采样值；在解码端，利用适当的重构算法对采样值进行重构，得到完整的视频信号。

在已有的视频压缩感知系统中，视频信号的恢复往往通过一个优化算法来求解。具体的，此类优化算法一般利用视频信号的先验信息(例如：稀疏性，模型稀疏性，低秩性，非局部相似性)来设计一个凸优化问题。但是凸优化问题的求解往往是迭代的，高复杂度的，因而导致重构时间较长。一般的，利用此方法恢复一个分辨率为352*288的视频帧需要几秒甚至几分钟，此重构时间难以实现在解码端实时播放视频，因而无法满足无线传感网中实时监控的需求。另一方面，在此类优化方法当中使用的先验信息是人为设计的，只能大致描述信号的特征。自然中的视频信号通常更为复杂，因此基于优化的重构方法在重构质量仍有不足，往往导致重构视频模糊，重影，用户体验较差。

发明内容

本发明目的在于解决目前视频重构方法存在的延迟较大，重构视频质量有待提高的问题，提出了一种基于深度神经网络(Deep Neural Networks,DNNs)的视频压缩感知与重构方法和装置，主要应用于编码端受限的无线视频传感网。

为实现上述方案，本发明采用以下技术方案：

一方面，本发明提供一种基于深度神经网络的视频压缩感知与重构方法，其特征在于，该方法具体步骤如下：

构建用于对视频非关键帧进行重构的深度神经网络模块，包含构建自适应采样模块、多假设预测模块和残差重构模块构成的端到端的深度神经网络，具体方法包括：输入用于网络训练的视频序列；将视频信号序列分为多个图片组，确定每一个图片组的关键帧和非关键帧；对关键帧进行重构得到重构后的关键帧；将非关键帧分为多个互不重叠的图像块；

构建自适应采样模块：对非关键帧中每个图像块进行自适应采样得到图像块采样值；

构建多假设预测模块：确定每个图像块对应的假设块；对非关键帧中的每个图像块利用对应的假设块进行自适应采样得到假设块的采样值，根据假设块采样值和图像块采样值，计算每个图像块的预测值，得到多假设预测图像；

构建残差重构模块：对多假设预测图像进行自适应采样，构建多假设预测图像采样值与非关键帧采样值的残差值，根据残差值利用残差重构方法得到非关键帧重构；

将构建的自适应采样模块与多假设预测模块进行级联构建子网络，对子网络进行训练，将子网络预训练得到的参数作为初始值，对整个深度神经网络进行训练，得到训练完成的深度神经网络；