[发明专利]一种基于深度展开网络的视频压缩感知重建方法

说明书

一种基于深度展开网络的视频压缩感知重建方法，包括如下步骤：S1.构造训练数据集：训练数据集由多个数据对构成，每个数据对由多帧压缩而成的观测帧和相应的未经压缩的多帧构成；S2.构造深度展开网络：将优化压缩感知的半二次分裂算法展开为深度展开网络，并加入稠密特征融合技术；S3.训练深度展开网络：基于训练数据集，给定损失函数，使用反向传播和梯度下降算法不断优化深度展开网络中的参数，直至损失函数稳定；以及S4.应用训练好的深度展开网络进行视频压缩感知重建过程：输入为压缩而成的观测帧和采样矩阵，输出为重建的视频多帧。该方法具有良好的可解释性，而且在保证较快重建速度的前提下能达到很高的重建精度。

技术领域

本发明属于视频处理技术领域，具体涉及一种基于深度展开网络的视频压缩感知重建方法。

背景技术

视频压缩感知被广泛地应用在成像系统上，其目的是利用二维传感器来捕捉诸如视频^[1]亦或是光谱^[2]等高维信号。通过在成像系统中引入额外的硬件部件，高维信号被压缩成二维信号，随后运用重建算法完成二维信号到高维信号的重建，通过此类硬件加软件的形式，能够减少数据的存储空间和传输带宽。

下面将简要介绍现有的视频压缩感知重建算法。

从数学的角度而言，在得到压缩而成的观测帧和采样矩阵后，视频压缩感知解决的是一个不适定的逆问题。传统方法引入图像或视频的先验知识作为正则项来迭代地求解稀疏正则化的优化问题，例如，引入总方差^[3]、高斯混合模型^[4]、光流^[5]、非局部低秩^[6]等结构稀疏特性先验作为正则项。此类基于优化迭代的传统方法可以直接运用于不同的采样矩阵而无须重新训练，但性能受限于选取的先验，此外迭代优化的过程耗时较长。近年来由于深度学习的蓬勃发展，催生了诸多基于卷积神经网络的视频压缩感知方法，此类方法可以分为两类，一类是深度非展开网络，而另一类是深度展开网络。深度非展开网络学习的是压缩而成的观测帧到原始多帧的直接映射，例如，堆叠了多层卷积来学习此种映射^[7]，设计了一个深度全连接网络来学习此种映射^[8]，考虑到硬件的局限选择联合优化采样矩阵和重建网络^[9]，设计了一个名为BIRNAT的网络^[10]，其中第一帧用卷积神经网络来重建，其余帧用双向循环网络来重建，提出了MetaSCI^[11]，其中的骨干网络选择一种轻量化的设计方式，并且网络可以运用在不同的采样矩阵上。提出了RevSCI^[12]，采用了分组可逆3D卷积来处理大尺度的视频压缩感知重建，此类方法的不足在于可解释性不强。深度展开网络将优化方法映射为一个深度网络来解决传统方法需要多次迭代的问题，诸如tensor-ADMM^[13]、tensor-FISTA^[14]、GAP-UNet^[15]、PnP-FFDNet^[16]等网络被陆续提出。此类方法的缺点如下：首先，网络中普遍使用2D卷积来发掘帧间相关性，这并非最优选择；其次，深度展开网络在阶段之间传递信息有明显的损失。

发明内容

本发明的目的在于克服现有视频压缩感知重建方法的缺陷和不足，提供一种基于深度展开网络的视频压缩感知重建算法。该方法设计了一个深度展开网络来进行训练和重建，不仅具有良好的可解释性，而且在保证较快重建速度的前提下能达到很高的重建精度。

本发明的技术方案如下：