[发明专利]基于间隔观测的视频压缩感知系统及方法、设备及存储介质

说明书

本发明公开了一种基于间隔观测的视频压缩感知系统及方法、设备及存储介质，所述系统包括图像压缩感知网络和帧合成网络，所述图像压缩感知网络用于对关键帧进行间隔观测，根据观测值生成关键帧的初始恢复，并对初始恢复进行图像增强，所述帧合成网络用于采集关键帧的多级特征，预测多级特征间的光流，并基于此估计相邻关键帧间的中间帧的特征，合成中间帧；本发明能够减少视频重构的时间冗余，提高重构视频帧的质量和效率。

技术领域

本发明属于视频处理技术领域，特别是涉及一种基于间隔观测的视频压缩感知系统及方法、设备及存储介质。

背景技术

压缩感知(CS)是一种信号压缩采样理论，该技术以低于奈奎斯特速率的采样率获取信号的观测值，并通过重构算法以高概率恢复原始信号，CS已应用于许多信号处理领域，如医学成像、摄像机、雷达成像和视频传输等，随着单像素相机等硬件系统的出现和普及，压缩感知应用到静态图像压缩方面，显示出卓越的潜力，压缩感知技术也为医学成像中缩短成像时间，提高成像质量等提出了新的可研究方向；如今，压缩感知不在局限于静止图像，而是推广到视频，与静态图像相比，视频在压缩过程中需要考虑图像时间维的相关性，因此利用压缩感知理论对视频进行处理更为复杂。

根据对视频的观测方式，视频压缩感知方法分为时间视频压缩感知和空间视频压缩感知，对于时间视频压缩感知方法，其利用不同的编码模式对视频中的动态帧进行建模，之后使用低速探测器整合这些建模的动态帧形成对视频的观测，再利用重构算法将二维观测恢复成三维视频；空间视频压缩感知方法利用数字微镜设备(Digital Mirror Device，DMD)逐一对视频帧进行观测，这种观测具有较高的时间分辨率，利用重构算法首先恢复视频帧，再结合运动估计和运动补偿的重建来增强重构效果。

现有的空间视频压缩感知方法逐帧从场景中获得观测，常用的观测策略有均匀分布策略和非均匀分布策略，在均匀分布策略下，每帧的观测值数目相等，相对应的重构算法利用图像压缩感知方法单独恢复每一帧；非均匀分布策略下，关键帧比非关键帧的观测数目更高，这在一定程度上减少了时间上的冗余，同时关键帧可以提高非关键帧的重构质量；尽管非均匀分布策略将视频帧分为关键帧和非关键帧以提高信息的利用率，但这种观测方式在时间维度上仍然存在大量的冗余，其对视频的每一帧进行观测，相邻帧之间的相似度很高，没有充分利用视频的时间结构，使重构效果的提升有限，视频信号的潜力仍然需要进一步挖掘。

发明内容

本发明实施例的目的在于提供一种基于间隔观测的视频压缩感知系统及方法，将视频帧分为关键帧和非关键帧，仅对视频帧中的关键帧进行间隔观测，再利用关键帧之间的时间关联性，生成非关键帧，减少视频的大量时间冗余，提升了视频重构的效果。

本发明实施例的目的还在于提供一种电子设备及计算机可读存储介质。

为解决上述技术问题，本发明所采用的技术方案是，基于间隔观测的视频压缩感知系统，包括图像压缩感知网络和帧合成网络，所述图像压缩感知网络包括图像观测层、初始恢复层和增强恢复模块，所述帧合成网络包括金字塔特征提取器、光流预测器和中间帧合成器；

所述图像观测层，用于对视频中的关键帧进行间隔观测；

所述初始恢复层，用于生成关键帧的初始恢复；

所述增强恢复模块，用于对初始恢复的关键帧进行图像增强；

所述金字塔特征提取器，用于提取相邻关键帧中的多层级特征；

所述光流预测器，用于预测相邻关键帧之间的光流；

所述中间帧合成器，用于根据相邻关键帧之间的多层级特征和光流生成中间帧。

进一步的，所述图像观测层由第一卷积层组成，所述第一卷积层的卷积核大小为32、卷积核数为128、卷积步长为32；

所述初始恢复层由第一反卷积层组成，所述第一反卷积层的卷积核大小为32、卷积核数为1、卷积步长为32；