[发明专利]基于融合图像的无参考立体图像质量评价方法

说明书

本发明属于图像处理领域，为提出无参考立体图像质量评价方法，更符合人眼特性，与人类的主观感知保持良好的一致性。为此，本发明采取的技术方案是，基于融合图像的无参考立体图像质量评价方法，将立体图像的左右视图进行融合，使用重叠切块的方法送给神经网络Alexnet进行迁移学习训练，预测得到立体图像的质量，最后再利用人眼的视觉显著特性对融合图像进行加权。本发明主要应用于图像处理场合。

技术领域

本发明属于图像处理领域，涉及到立体图像质量评价方法的改进优化，以及人类视觉系统中的视觉显著性在立体图像质量客观评价中的应用。具体讲,涉及基于融合图像的无参考立体图像质量评价方法。

背景技术

近年来，随着多媒体技术的发展，立体图像受到越来越多的关注，而立体图像在采集、压缩、传输、显示等过程中均会产生降质问题，立体图像的质量会直接影响人们的视觉感受，因此，如何有效地评估立体图像的质量成为立体图像处理和计算机视觉领域的关键问题之一。

由于立体图像主观质量评价要求测试者在特定的情况下对立体图像进行打分得到，这类方法费时费力，成本较高，且极易受测试者主观情绪的影响，不适于实际应用；而立体图像客观质量评价方法是通过客观模型给出立体图像的分数，能够有效弥补主观评价方法带来的不足。

根据对参考图像的依赖程度，立体图像客观质量客观评价可以分为全参考图像质量评价、半参考图像质量评价和无参考图像质量评价。全参考图像质量评价需要测试图像和参考图像的全部信息，半参考图像质量评价需要获得参考图像的部分信息，但是在实际环境中这些信息可能没有或者很难获得，因此，这两类方法的应用范围有限。相比而言，无参考图像质量评价方法仅利用失真图像来进行评价，更符合实际应用的需要。

尽管平面图像的质量评价已取得显著成果，但对立体图像质量评价的研究尚不充分。最开始人们将平面图像质量评价方法[1-3]应用于立体图像的质量评价中，如峰值信噪比(PSNR)、均方误差(MSE)、结构相似度(SSIM)[4]等。由于该类方法未考虑立体图像的深度信息，因此不适合直接用于立体图像的质量评价。随后，一些文献提出基于双目视觉特性的立体图像质量评价方法。文献[5]提出了一种融合人类双目特性的立体图像评价方法，使之更符合双目特性。但是，目前对人类视觉系统的认知还很有限，传统的方法难以全面反映人类对于立体图像的视觉感受，因而研究人员采用能模拟人类大脑的神经网络方式进行立体图像质量评价，文献[6]提出了一种基于支持向量机(SVM)的立体图像质量评价方法。但是传统的机器学习方法需要人工选取立体图像特征，选取的特征不一定能够完全反映立体图像的质量情况，限制了立体图像质量技术的发展。2011年后，深度学习网络，特别是卷积神经网络快速发展[7]。卷积神经网络(CNN)能够从图像中选取需要的特征，在图像分类、语音识别等方面能得到更高的正确率，比如2012年Hiton等人在计算机视觉识别挑战赛(ImageNet)上使用神经网络Alexnet[8]图像分类模型中夺得第一名，性能远超其它机器学习方法。基于卷积神经网络(CNN)在图像识别，对象检测和语义理解等领域的巨大成功，文献[9]提出了一种三通道五层卷积神经网络，网络初始化参数通过迁移学习训练二维图像得到，将立体图像的左视图、右视图和差值图分块分别作为网络输入，通过卷积提取立体图像特征，最终全连接加权得出最终的质量分数。文献[10]首先通过主成分分析法将左右视图融合，然后对融合图像进行减均值和对比度归一化操作，最后采用非重叠切块的方法将图像切成小块送入网络进行训练，通过卷积神经网络(CNN)建立图像特征与主观评分差值之间的关系模型。

发明内容

为克服现有技术的不足，本发明旨在提出无参考立体图像质量评价方法，更符合人眼特性，与人类的主观感知保持良好的一致性。为此，本发明采取的技术方案是，基于融合图像的无参考立体图像质量评价方法，将立体图像的左右视图进行融合，使用重叠切块的方法送给神经网络Alexnet进行迁移学习训练，预测得到立体图像的质量，最后再利用人眼的视觉显著特性对融合图像进行加权。

将立体图像的左右视图进行融合具体步骤如下：