[发明专利]一种融合时空特征的无参考视频质量评估方法

说明书

本发明涉及一种融合时空特征的无参考视频质量评估方法，包括以下步骤:步骤S1:获取视频数据集，作为训练集；步骤S2:构建空域特征提取子网络，并基于训练集下采样得到的帧集合训练；步骤S3:构建时域特征提取子网络，并基于训练集的残差图像序列训练；步骤S4:根据训练后的空域特征提取子网络和时域特征提取子网络，构建视频质量评估网络，并通过注意力机制自适应的调整时域和空域特征对于视频感知质量的影响，训练得到视频质量评估模型；步骤S5:根据得到的视频质量评估模型，提取待测视频的时域和空域特征，并计算待测视频的质量分数。本发明可以显著提高无参考视频质量评估的性能。

技术领域

本发明涉及图像和视频处理以及计算机视觉领域，具体涉及一种融合时空特征的无参考视频质量评估方法。

背景技术

随着社交媒体应用的发展和消费者捕获设备的普及，人们可以随时随地通过便携式移动设备捕获视频来记录他们的日常生活，并通过各种媒体平台共享。这导致用户生成内容(user-generated content，UGC)视频在互联网上共享和流式传输的数量激增。因此，研究针对消费者视频的准确视频质量评估(video quality assessment，VQA)模型来监控、控制和优化这一庞大的内容是非常有必要的。此外由于大部分的用户并没有经过专业的培训，不具备专业的摄像知识导致其中可能包含因相机抖动、传感器噪音、失焦等引起的失真。而且在视频的编解码、存储、传输、处理过程中难以避免地会丢失部分原始数据，导致视频产生失真现象，出现噪点、变形、扭曲、缺失等现象。失真会不同程度地丢失原始视频中所包含的信息，从而影响人们对视频的观感、影响人们从视频中获取信息。对于提供以用户为中心的视频服务的组织而言，确保制作和分发链之后的视频能够满足视频接收端的质量要求至关重要。视频质量评估模型可以根据视频失真程度来对视频的质量进行评估，从而为后续的视频处理提供基础。视频质量评估是视频处理领域的关键技术之一，对于当下图像在医学、航空、教育、娱乐等领域来说是至关重要的。

视频的质量评估可分为主观质量评估和客观质量评估。其中依赖人工评分的主观质量评价是最准确合理的质量评估，但是由于它消耗的时间和人力限制了它在现实世界中的广泛使用。因此，研究者提出了客观质量评估方法来自动预测失真视频的视觉质量。根据参考信息的可用性，客观质量评估方法分为：全参考，半参考和无参考。由于在实际应用中许多视频并不具有参考视频，例如用户生成内容视频，因为在视频捕获过程中，它无法捕获完全没有失真的“完美”视频，参考视频的附加信息也导致视频传输期间的高带宽占用。因此不需要参考原始视频的无参考质量评估方法具有更广泛的实际应用价值。

现有的大部分无参考视频质量评估模型主要针对合成失真(如压缩失真)。真实失真视频和合成失真视频之间存在较大的区别，前者可能遭受复杂的混合现实世界失真，且同一视频在不同的时间段，失真也可能是不同的。并且根据最近的研究，一些合成失真数据集上验证的最先进的视频质量评估方法在真实失真视频数据集上表现不佳。近几年随着真实失真视频质量评估数据集的公开，以及现实应用的迫切需求。我们提出一种融合时空特征的无参考视频质量评估方法，通过使用视频残差图像序列输入3D卷积网络计算得到视频的时域特征，并应用注意力机制自适应的调整时域和空域失真对于视频感知质量的影响。该模型可以显著提高无参考视频质量评估模型的性能。

发明内容

有鉴于此，本发明的目的在于提供一种融合时空特征的无参考视频质量评估方法，有效提高无参考视频质量评估的效率及性能。

为实现上述目的，本发明采用如下技术方案：

一种融合时空特征的无参考视频质量评估方法，包括以下步骤:

步骤S1:获取视频数据集，作为训练集；

步骤S2:构建空域特征提取子网络，并基于训练集下采样得到的帧集合训练；

步骤S3:构建时域特征提取子网络，并基于训练集的残差图像序列训练；