[发明专利]基于LSTM网络与图像组质量盲评估的视频压缩感知重构方法

说明书

本发明涉及一种基于LSTM网络与图像组质量盲评估的视频压缩感知重构方法，其中重建端收到帧观测矢量码流，组合形成连续的图像组观测矢量，对每个图像组观测矢量执行基于LSTM网络的多帧联合迭代重构，获得相应的重建图像组，逐一输出最终的重建帧，同时根据迭代次数达到最大值的持续状况决定是否更新LSTM网络的参数集合。本发明能够将稀疏先验建模与数据驱动机制结合起来，有助于提升重建视频的质量。

技术领域

本发明涉及视频压缩感知重构技术领域，特别是涉及一种基于LSTM网络与图像组质量盲评估的视频压缩感知重构方法。

背景技术

压缩感知技术的兴起提供了一种新型的信号采集与恢复机制，根据压缩感知理论，只需要将原始信号投射到随机基上以获得少量的测量值，在某一变换域中具有稀疏或近稀疏表示的信号就可以通过这些测量值得到恢复。在压缩感知视频通信中，测量端与重建端极不对称，测量端是信息-物理融合系统，具有物理与计算资源有限、信号获取与发送协同进行等基本特征，具备充足资源的重建端则需要在无反馈信道下恢复原始信号。

视频压缩感知通常采用“每帧单独测量、多帧联合重构”的通信架构，将计算复杂度从测量端转移到重建端，极简的测量端设计非常适用于传感网络中资源受限的可视传感器。测量端对视频的每帧图像采用相同的观测矩阵进行独立观测编码，生成连续的帧观测矢量，将其作为码流发送出去。重建端收到码流后，组合成连续的图像组观测矢量，多帧联合重构利用空-时冗余信息的程度不同，视频重构的速度和质量也不一样。

视频压缩感知的重构过程无法获取原始的图像信号，重构性能评估难以参考原始图像。视频质量盲评估利用典型图像数据库中的图像样本进行训练，通过监督型模式识别和统计回归建立视频特征变化的盲评估模型，无需原始图像就能执行多帧图像的质量评估。Bovik等人提出的Video-BLIINDS和VIIDEO是两种典型的视频质量盲评估准则，其中，Video-BLIINDS准则是基于空-时自然场景的频域统计模型，VIIDEO准则是基于前后帧差分布的统计模型。重建图像组的质量盲评估能够提取多帧图像的自有特征，有助于恢复视频信号的结构信息。

深度学习在机器视觉和图像恢复任务中已经展现出颇具前景的性能，压缩感知深度学习能够充分利用重建端资源，更好地重构动态变化的视频信号。长短期记忆(LSTM)网络执行基于注意力模型的长时间序列建模，能够表达更复杂的空-时信息，基于LSTM网络的深度学习机制有助于恢复视频信号的细节信息。

发明内容

本发明所要解决的技术问题是提供一种基于LSTM网络与图像组质量盲评估的视频压缩感知重构方法，能够将稀疏先验建模与数据驱动机制结合起来，有助于提升重建视频的质量。

本发明解决其技术问题所采用的技术方案是：提供一种基于LSTM网络与图像组质量盲评估的视频压缩感知重构方法，包括以下步骤：

(1)重建端接收帧观测矢量码流，组合形成连续的图像组观测矢量；

(2)利用第1个图像组观测矢量GMV₁的重建图像组训练LSTM网络的参数集合；

(3)对于第n个图像组观测矢量GMV_n，执行基于LSTM网络的多帧联合迭代重构，其中，n≥2，停止条件是当迭代次数达到最大值K或残差l₂范数||R_n,j||₂小于阈值resMin或图像组盲质量Q^b_n高于阈值qMax，从而完成第n个图像组的恢复，将其中的重建帧F_n作为最终的第n个重建帧；当完成连续α个图像组的恢复后，若每个图像组的最终恢复均是迭代次数达到最大值K才停止的情况，则进入步骤(4)；否则，后续的多帧联合迭代重构仍采用LSTM网络的当前参数集合§^*，并跳转到步骤(5)；

(4)重建端利用第n个图像组观测矢量GMV_n的重建图像组G_n训练LSTM网络；