[发明专利]一种视频压缩感知低延迟帧间重构的迭代渐进假设预测方法

说明书

对于视频压缩感知的低延迟帧间重构，现有方法都是通过对前向关键帧或前一个非关键帧的多假设预测构建残差稀疏模型。然而，这些方法不能在逐次逼近每个非关键帧的过程中动态地利用空‑时相关性。为了充分利用视频帧之间的相关性进行帧间重构，本发明提出了一种迭代渐进假设预测方法，在多假设预测中引入了迭代递减先验，从双参考帧中动态地挑选假设片进行非关键帧的重构。所提方法交替地执行先验引导的片匹配和残差稀疏建模求解，通过由粗到细的假设片选择机制，可以获得更高的预测精度。相比其他低延迟帧间重构方法，所提方法在复杂度约束下进一步提高了各个非关键帧的恢复质量。

技术领域

本发明属于视频处理与通信领域，特别是涉及视频压缩感知的帧间重构技术。

背景技术

视频压缩感知系统采用测量端的单帧观测和重建端的帧间重构。视频码流通常由若干图像组(GOP)组成，每GOP由一个关键帧和后面的一些非关键帧组成。由于残差通常比原始信号具有更大的稀疏性，视频压缩感知的片匹配重构方法通过稀疏化当前片与其假设片之间的残差进行重构。多假设预测是目前获取残差的主流技术，在重建端通过片匹配进行运动估计和补偿，即将相邻帧作为参考帧，从参考帧中选取假设片作为当前片的一个预测。测量端生成周期性的关键帧，并且关键帧采用比非关键帧更高的采样率，由此获得恢复质量更好的参考帧。

在完成每帧的帧内重构后，重建端对每个GOP执行帧间重构，低延迟意味着参考帧只能是前向关键帧或前一个非关键帧，没有后向帧被作为参考帧。现有的片匹配重构方法采用基于多假设预测的稀疏残差法来恢复视频信号，但在进行运动估计时，对不同采样率下参考帧的选取方式较为单一，同时从参考帧中挑选假设片的数量也较为固定，难以适应内容时变的视频信号。因此，对于视频压缩感知的低延迟帧间重构，有待提出更加高效的片匹配重构机制。因此在低延迟约束下，本发明提出了一种基于单帧观测的视频压缩感知帧间重构方法。

发明内容

本发明所要解决的技术问题是：视频压缩感知的测量端执行每帧单独观测，重建端按时序接收码流后如何在低延迟约束下提升帧间重构的质量。

本发明解决其技术问题所采用的技术方案是提出一种迭代渐进假设预测方法，所提方法包含以下两个并行运作的环节：

(1)前向关键帧和前一个非关键帧作为双参考帧，在当前帧的第n次迭代中(1≤n≤N_max)，当前片是当前帧中第k个片的上一次迭代估计(1≤k≤K_max)，当前片从双参考帧中选择最相似的I_n个假设片(1≤I_n≤I₁)，其中I₁是第1次迭代中的假设片数量。当前片的残差R(x_k)是其原始值x_k与其假设片组合的差值：式中是当前片的第i个假设片(1≤i≤I_n)，是影响预测精度的假设的权重，采用下式更新：其中MSE(·)是均方误差算子。双树离散小波变换(DDWT)被进一步用来执行变换域的残差稀疏建模与求解。

(2)在先验引导的片匹配过程中，两个片之间的相似度由均方误差来描述。迭代递减先验选用两种暂态函数之一来确定第n次迭代中的假设片数量I_n。第一种阶梯暂态函数表示为：其中[·]表示取在1到I₁范围内的最近整数。根据慢、快、慢的暂态规律，第二种准sigmoid暂态函数表示为：根据当前片与其假设片之间的均方误差，片匹配在双参考帧中选择均方误差较小的I_n个假设片。

有益效果