[发明专利]用于用户原创视频的双流时序自适应选择视频质量评价方法

说明书

本发明属于用户原创内容视频处理技术领域，公开了一种用于用户原创视频的双流时序自适应选择视频质量评价方法，包括1：基于内容权重分配帧内质量感知模块；2：双流全局时域建模；3：双流更深层次损失函数权重分配。本方法从时域与空域两个维度对视频质量特征进行提取，在空域方面，提取了多尺度的特征图，结合人眼视觉显著性感知对特征图进行权重再分配。在时域方面，引入双流更深层次RNN结构，对前向与后向时序信息进行迭代提取深层次双时序信息。最后，通过深度监督模块对不同的感知层次与顺序的进行损失函数的分配后回归最后的得分。在四个UGC‑VQA数据库上，与目前最好的深度学习方法相比，实现了更进一步的性能提升。

技术领域

本发明属于用户原创内容视频处理技术领域，尤其涉及一种用于用户原创视频的双流时序自适应选择视频质量评价方法。

背景技术

随着移动多媒体设备的发展和视频社交媒体平台的普及，普通用户有更多机会自己创作内容。然而，由于拍摄环境和设备的限制，用户生成内容(UGC)视频总是伴随着各种拍摄失真，如失焦、运动模糊、相机抖动或曝光不足/过度、传感器噪声、恶劣拍摄环境等。这将严重降低消费者的视觉体验。此外，在实际应用中，有必要对进行客观视频质量评价(VQA)。例如，它可以用来确定视频内容是否由专业摄影师制作，这可以用于视频分发平台进行推荐排名。此外，UGC视频质量模型也可以作为视频增强技术的优化准则。因此，帮助视频制作者提高通过量化提升视频质量来获取UGC视频

在过去的几年里，有许多无参考的图像质量评价方法(NR-IQA)与无参考视频质量评价方法(NR-VQA)涌现而出。而NR-IQA和NR-VQA的显著区别在于NR-VQA需要结合空域和时域的相关性，这给准确评价视频质量带来了更大困难。现有的NR-VQA方法都是针对评估压缩失真和传输伪影而设计的，这在存在多种混合失真的UGC视频上并不能取得令人满意的效果。最近，随着视频社交媒体平台和视频会议系统的日益火爆，越来越多的UGC视频对NR-VQA任务提出了新的挑战。

回顾NR-VQA的发展历程，随着机器学习的飞速发展学习，部分学者尝试使用机器学习理论建立NR-VQA模型。比如，经典的NR-VQA方法是基于自然场景统计(NSS)分析而提出的。如NIQE，BRISQUE，FRIQUEE和HIGRADE等。当应用于视频时，基于NSS的方法通过测量每帧与自然场景统计的偏差，然后对所有帧的统计数据进行平均得到整个视频的质量得分。但他们明显不足以对时域特征进行建模。V-BLIINDS是一个基于图像评价的扩展，它结合了时间频率特性和时间运动信息。V-CORNIA通过非监督学习与支持向量机学习得到码本，之后对与图像帧一一对应。最后，聚合帧级质量分数方面，通过时间记忆效应池化得到最终的视频质量。

最近，深度学习技术也被用于NR-VQA模型。Varga等学者将LSTM应用于NR-VQA中的时域建模。Wu等学者通过估计视频质量帧之间的相似度图来计算视频质量。Liu等学者提出了一个使用多任务CNN框架的V-Meon模型，它考虑使用3D-CNN进行特征提取和全连接用于预测视频质量的层。Zhang等使用迁移学习方法开发基于弱监督学习理论的通用NR-VQA模型和重采样策略。

鉴于人们对UGC质量评价的兴趣日益浓厚，收集并标注了四个相关数据集：CVD2014、KoNViD-1k、LIVE-Qualcomm和LIVE-VQC。这些数据库非常具有挑战性，并且之前的NR-VQA方法，在合成失真视频数据集进行验证，产生了并不符合人眼视觉感知的结果。出于这个原因，一些捕获空域和时域失真的方法被提出，并取得了令人兴奋的表现。