[发明专利]一种基于特征融合和循环神经网络的无参考视频质量评价方法

说明书

本发明公开了一种基于特征融合和循环神经网络的无参考视频质量评价方法，本方法通过一个可以输入视频段的特征融合网络融合时空特征，使用一个循环神经网络融合不同视频段的质量，完成视频整体的质量评价任务。本发明使用的神经网络，直接以视频段作为输入，采用特征融合网络，这样的设计可以更好的提取视频帧直接的关系，从而更准确的得到视频整体的质量评价指标。本发明的特征融合网络可以一次性处理多帧并得到一个低维度的特征，即特征规模相对与数据量来讲极大降低，在运算时，对于一整段视频来讲，总时间可以得到极大的降低。

技术领域

本发涉及一种基于特征融合和循环神经网络的无参考视频质量评价方法，属于数字视频处理技术领域。

背景技术

视频作为视觉信息的一种复杂来源,蕴含了大量的有价值信息。视频质量的好坏直接影响到人们的主观感受和信息量获取,并且可以反馈衡量视频压缩等其他视频任务，视频质量评价(Video Quality Assessment,VQA)的研究也在近几年受到广泛的重视。

视频质量评价可以分为主观评价方法和客观评价方法。主观评价由观察者对视频质量进行主观评分,但主观评价工作量大、耗时长,不方便；客观评价方法是由计算机根据一定算法计算得到视频的质量指标,根据评价时是否需要参考视频又可以分为全参考(Full Reference,FR)、半参考(部分参考)(Reduced Reference,RR)和无参考(NoReference,NR)等三类评价方法:

(1)全参考视频质量评价方法。FR算法是指在给定理想视频作为参考视频的标准下，比较待评价视频与参考视频之间的差异，分析待评价视频的失真程度，从而得到待评价视频的质量评估。常见的FR方法的有：基于视频像素统计的视频质量评价(主要有峰值信噪比和均方误差)、基于深度学习的视频质量评价、基于结构信息的视频质量评价(主要为结构相似度)。FR算法是目前为止在客观视频质量评价中最可靠的方法。

(2)半参考视频质量评价方法。RR算法是以提取参考视频的部分特征信息作为参考，对待评测视频进行比较分析，从而得到视频的质量评估。常见的RR算法主要为：基于原始视频特征方法和基于Wavelet域统计模型的方法。

(3)无参考视频质量评价方法。NR算法是指没有理想视频下，对待评测视频进行质量评估的方法。常用的NR算法主要为：基于自然场景统计的方法、基于深度学习的方法。

针对视频在获取、处理、传输和记录的过程中，由于成像系统、处理方法、传输介质和记录设备等不完善，加之物体运动、噪声干扰等原因所造成的视频失真和视频降质的问题，往往要对一段失真视频的质量进行衡量，由失真视频直接得到视频的质量衡量而不使用失真视频的参考视频，称为无参考视频质量客观评价。

CN201811071199.1公开了一种基于层级特征融合网络的无参考图像质量评价方法，主要解决现有技术精度低、速度慢的问题。其实现方案是：从MSCOCO数据集挑选参考图像并通过添加噪声建立污染图像数据库；对训练集图像和测试集图像同时进行去均值与裁剪；根据人类视觉系统从局部特征到全局语义的分层次处理机制，设计一个进行端到端联合优化的层级特征融合网络模型；利用训练集和测试集对层级特征融合网络模型进行训练；对待评测图像进行去均值与裁剪处理，将处理后的图像输入训练好的层级特征融合网络模型，获得图像质量预测分值；由此提高无参考质量评价的精度与速度，可用于图像筛选、压缩、视频质量监控。