[发明专利]基于3D卷积神经网络的立体视频质量评价方法

说明书

本发明涉及一种基于3D卷积神经网络的立体视频质量评价方法，步骤如下：数据预处理；训练3D卷积神经网络；质量分数融合：将整个测试视频随机分为两部分，一部分用于3D CNN模型的训练，另一部分用于模型的测试；在3D CNN模型的训练过程之后，从测试立体视频中获得每个输入视频块的预测分数，为获得视频整体评价得分，采用考虑全局时间信息的质量分数融合策略：首先，利用平均池化将空间维度上的立方体级别分数进行整合；为模拟全局时间信息，定义基于运动强度计算每个片段的权重，然后计算立体视频每段时间维上运动强度占总运动强度的权重，最后，将视频级预测分数汇总为每段时间维上质量分数的加权和，得到立体视频的融合质量分数。

技术领域

本发明属视频处理领域，涉及立体视频质量评价方法。

背景技术

如今，各个领域如娱乐和教育都存在着大量的立体视频。视觉质量是立体视频的一个基本而复杂的特征，它与用户的体验质量高度相关；在立体视频的连续制作阶段包括处理，压缩，传输和显示等，视觉质量可能会受到不同程度的损害。因此，立体视频质量评价(Stereoscopic Video Quality Assessment,SVQA)的研究在立体视频系统的发展中起着重要的作用。为了达到更高的效率和可行性，非主观和自动客观立体视频质量评价方法是非常需要的。主观评价方法不仅费时费力，且易受多种因素的干扰，评价结果相对不稳定。比较主观评价，客观评价使用软件评价立体视频的质量，不需参与者和大量的主观试验，操作简单，且与主观评价高度相关。

根据可用的原始视频信息的数量，立体视频质量评价方法主要分为三种：全参考(Full Reference,FR)，简化参考(Reduced Reference,RR)和无参考(noreference,NR)。无参考方法可以在没有任何参考内容的情况下评估测试的立体视频的质量，而全参考方法和RR方法需要原始视频或其部分信息。然而，参考视频在大多数实际应用中不可用，只有无参考方法才有可能满足实际需求。

发明内容

本发明的目的在于建立一个充分考虑相邻视频帧运动信息的立体视频质量评价方法。本发明提出的立体视频质量评价方法，提出基于深度学习卷积神经网络(Convolutional Neural Networks，CNN)的立体视频质量评估指标，构建一个3D CNN架构来学习无参考立体视频质量评价任务的时空特征，对与立体视频质量有关的信息进行整合，进而可以做出更加全面、准确的客观评价。技术方案如下：

一种基于3D卷积神经网络的立体视频质量评价方法，步骤如下：

第一步.数据预处理

(1)差值视频：对于立体视频的左视频和右视频做差值，计算差值视频，得出卷积网络的原始视频；

(2)数据集增强：将原始视频在空间和时间维度上分割，导出多个低分辨率的短视频立方体；标记这些立方体，获得有效的训练数据；

第二步.训练3D卷积神经网络

(1)3D卷积：通过将三维卷积核与由多个相邻帧组成的立方块进行卷积来完成3D卷积，确保时间信息在整个网络中得到提取和保存，在卷积完成之后，执行加性偏差项和非线性激励函数以获得特征图；

(2)3D池化：池化层基于局部相关性原理对从卷积层传输的特征映射进行二次采样，池化操作输出特征图的某个位置处的相邻单元的汇总统计量；

(3)3D CNN架构：构建六层的3D CNN架构来自动有效地捕获本地立体视频质量评价任务的时空特征，架构包括两个3D卷积层，两个3D汇集层和两个完全连接层；在输入视频通过卷积层之后，3D最大池化层对3D特征图进行二次采样，再使用随机梯度下降(Stochastic gradient descent，SGD)优化器对视频块进行训练，输出每个视频块的预测分数；

第三步.质量分数融合