[发明专利]基于间隔观测的视频压缩感知系统及方法、设备及存储介质

权利要求书

1.基于间隔观测的视频压缩感知系统进行视频压缩感知的方法，其特征在于，包括以下步骤：

步骤1，以T个视频帧为周期将视频划分为i个观测周期，将各观测周期内的第一帧作为关键帧，其余帧作为中间帧；

步骤2，构建图像压缩感知网络，间隔观测视频中的关键帧，并根据观测值进行初始恢复和增强获得关键帧的重构视频帧；

步骤3，构建帧合成网络，将重构视频帧输入帧合成网络，利用相邻关键帧的特征及光流重构中间帧；

步骤4，将关键帧与中间帧拼接得到压缩感知重构的视频；

所述步骤3中重构中间帧的过程如下：

步骤31，利用上一层级预测的光流对后一关键帧的特征进行变形，变形过程如公式(1)所示：

公式(1)中flow_0→T,l+1表示l+1层光流预测器预测的前一关键帧到后一关键帧的光流，up₂表示对光流值和分辨率进行上采样，F_T,l表示后一关键帧的l层特征，x+d表示前一关键帧中的空间位置x在后一关键帧中的空间位置，表示变形后的后一关键帧中空间位置x+d的l层特征；

步骤32，使用公式(2)计算前一关键帧与后一关键帧的关联性：

公式(2)中C表示特征维度，d表示空间位置x从前一关键帧和后一关键帧的位移量，F_0,l(x)表示前一关键帧中空间位置x的l层特征，表示变形后后一关键帧中空间位置x+d的l层特征，corr(x,d,l)表示F_0,l(x)和的关联性；

步骤33，对corr(x,d,l)进行映射得到残差光流，使用残差光流计算前一关键帧到后一关键帧的l层预测光流flow_0→T,l和后一关键帧到前一关键帧的l层预测光流flow_T→0,l；

步骤34，使用公式(3)分别估计中间帧到前一关键帧的光流及其到后一关键帧的光流：

公式(3)中flow_t→0,l、flow_t→T,l分别表示中间帧到前一关键帧的光流、中间帧到后一关键帧的光流，a、A分别为中间帧和关键帧对应的时刻；

步骤35，使用公式(4)合成中间帧的特征，再基于此合成中间帧；

公式(4)中F_t,l表示中间帧的l层特征，F_0,l、F_T,l分别表示前一关键帧的l层特征、后一关键帧的l层特征，warp(F_T,l,flow_t→T,l)表示利用flow_t→T,l对后一关键帧的l层特征进行变形得到的特征，warp(F_0,l,flow_t→0,l)表示利用flow_t→0,l对前一关键帧的l层特征进行变形得到的特征。

2.一种电子设备，其特征在于，包括处理器、存储器和通信总线，其中，处理器、存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1所述的方法步骤。

3.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1所述的方法步骤。