[发明专利]基于深度学习的立体视频质量客观评价方法

说明书

本发明公开了一种基于深度学习的立体视频质量客观评价方法：处理图像得到独眼图、双目和图及双目差图；独眼图上提取HOG特征；分别在双目和图和双目差图提取GM和LOG的联合分布特征；光流场上提取时域特征；时间方向上求视频每组特征平均值；通过稀疏自编码器对输入特征抽象表达，分别建立深度学习网络评价模型；利用深度学习网络评价模型分别预测独眼图、双目和图和双目差图、流场图的质量分数；独眼图、双目和图和双目差图、流场图加权整合。本发明结合HOG特征、GM和LOG的联合分布特征、以及光流特征对立体视频质量的影响，进行立体视频质量评价，提高立体视频客观质量评价的准确性。

技术领域

本发明涉及视频处理领域，更具体的说，是涉及一种基于深度学习的立体视频质量客观评价方法。

背景技术

由于3D能够带给观众立体感和更真实的观看体验，因此三维视频技术已经受到工业产品生产商和电子产品消费者的广泛关注。然而，视频的采集、编码压缩、传输、显示以及处理过程中的任何一个环节都有可能引起视频的失真，导致视频质量下降，因此对视频质量评价的研究对推动图像和视频处理技术的发展具有重要意义。

立体视频质量评价方法分为主观质量评价和客观质量评价两种方法，客观评价方法又分为全参考、半参考和无参考型方法。在无参考质量评价方法中，现有的质量评价模型大多是浅层学习网络，如支持向量机、反向传播神经网络等，通过在视频上提取特征并用浅层网络训练和预测视频质量，取得了一定的效果。但是浅层学习网络由单层非线性特征转换层构成，对复杂函数的表征能力有限。由于人类视觉系统感知机理非常复杂，浅层学习网络不能充分表达这一过程，而深度学习网络，如卷积神经网络、深信度网络等，可通过学习深层非线性网络结构实现对复杂函数的表达。因此，近年来越来越多的研究者开始致力于用深度学习网络模型来模拟人类视觉系统的处理机制，从而预测图像和视频的质量。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种基于深度学习的立体视频质量客观评价方法，结合HOG特征、高斯幅度(GM)和高斯拉普拉斯算子(LOG)的联合分布特征、以及光流特征对立体视频质量的影响，进行立体视频质量评价，提高立体视频客观质量评价的准确性。

本发明的目的是通过以下技术方案实现的。

本发明的基于深度学习的立体视频质量客观评价方法，每个失真立体视频对由左视点视频和右视点视频组成，包括以下步骤：

第一步，对组成左视点视频和右视点视频的图像序列分别进行处理，得到独眼图、双目和图及双目差图；

第二步，空域特征提取：在独眼图上提取HOG特征，记为

第三步，空域特征提取：分别在双目和图和双目差图上提取高斯幅度(GM)和高斯拉普拉斯算子(LOG)的联合分布特征，分别记为和

第四步，时域特征提取：计算相邻两帧图像的独眼图间的光流场，并在光流场上提取特征作为时域特征F_t；

第五步，以上述空域特征、时域特征为基础，对视频的所有图像序列执行第一步到第四步，并在时间方向上求视频每组特征的平均值，分别记为和并将双目和图和双目差图的特征进行级联，记为

第六步，在已知主观分数的立体视频库上训练自稀疏编码器模型，通过稀疏自编码器对输入特征进行抽象表达，根据输入的独眼图、双目和图及双目差图、光流场图的特征，分别建立相应的深度学习网络评价模型，分别记为SAE-C、SAE-SD、SAE-T；

第七步，测试阶段：对待测试视频进行第一步到第五步的处理，提取对应的特征，之后利用各自的深度学习网络评价模型分别进行预测，得到视频的独眼图质量客观分数预测值Q_c、双目和图和双目差图质量客观分数预测值Q_sd和光流场图质量客观分数预测值Q_t；