[发明专利]基于卷积神经网络的立体图像舒适度评价方法

说明书

技术领域

本发明属于图像处理领域，涉及立体图像舒适度客观评价方法改进优化。具体讲，涉及基于卷积神经网络的立体图像舒适度评价方法。

背景技术

近年来立体图像迅速发展，然而，由于图像传输过程中受到的干扰与损失，可能会导致立体图像的质量下降，严重影响观众的观看体验。因此，立体图像舒适与否关系到观看者的观看体验和生理健康，已成为立体显示技术急需解决的任务之一[1]。

近几年国内外对立体图像质量评价进行了广泛的研究。最开始人们将屏幕图像质量评价方法[2-4]应用在立体图像的质量评价中，如峰值信噪比(PSNR)、均方误差(MSE)、结构相似度(SSIM)[5]等评价指标。然而影响立体图像质量的因素有很多，如深度感知、视觉不适等，一些平面图像质量评价方法直接用于立体图像评价与人眼的视觉感受不符。因而研究人员考虑引入影响立体图像观感的因素，使评价结果更符合人眼特性；文献[6]提出了一种融合人类双目特性的立体图像评价方法，使之更符合双目特性。但是，人们对人类视觉系统的认知还有限，传统的方法难以全面反映人类对于立体图像的视觉感受，因而研究人员采用能模拟人类大脑的神经网络方式进行立体图像质量评价；文献[7]提出一种基于支持向量机 (SVM)的立体图像舒适度评价方法。但是传统的机器学习方法需要人工选取立体图像特征，选取的特征不一定能完全的反映立体图像的舒适度情况，限制了立体图像舒适度技术的发展。 2011年后，深度学习网络，特别是卷积神经网络快速发展[8]。卷积神经网络(CNN)能够从图像中选取需要的特征，在图像分类、语音识别等方面能得到更高的正确率。文献[9]提出了一种三通道五层卷积神经网络，将立体图像的左视图、右视图和差值图分块分别作为网络输入，通过卷积提取立体图像特征，最终全连接加权得出最终的舒适值。基于卷积神经网络的立体图像质量评价模型能够得到更高的分类识别率。

立体图像舒适度评价算法的发展对立体图像的发展有着重要的意义。

发明内容

为克服现有技术的不足，本发明旨在提出立体图像舒适度评价方法，实现无参考图像评价和更高的效率。为此，本发明采用的技术方案是，基于卷积神经网络的立体图像舒适度评价方法，将立体图像的左视图、右视图和视差图的信息合成为一幅图像作为网络输入，通过卷积神经网络模拟人类感知来对图像进行处理，最后通过全连接层的加权与拟合得出图片的舒适度值，其中，网络通过使用修正线性单元ReLU激活函数和局部响应归一化层，使网络更快的达到收敛。

卷积神经网络为8层的网络模型，第一层为输入层，输入一个图像块；第二到四层为卷积层，输入图像经过卷积层提取一系列特征；第五层到第七层为全连接层，全连接层将学到的特征通过权值的方法映射到样本的标记空间；第八层为网络的输出，即图片舒适与否的情况。

在卷积层和池化层后经过局部响应归一化层，实现局部抑制。

ReLU非线性激活函数表达式如式(1)，ReLU非线性激活函数的导数如式(2),在卷积层和池化层后经过局部响应归一化层，实现局部抑制，局部响应归一化的响应归一化激活函数如公式(3)所示，最后采用三层全连接层实现更好的拟合效果；

f(x)＝max(0,x)(1)

分子表示第i个核在位置(x,y)运用ReLU激活函数的输出，分母为选取左右临近的n 个卷积核，将它们在同一位置上卷积的结果进行求和，N为核的总数，k,n,α,β为超参数，由验证集决定。

还包括采用交叉数据库验证网络性能的步骤，并采用Pearson相关系数PLCC、Spearman 相关系数SROCC和均方误差RMSE(Root Mean Square Error)作对比，三种质量指标的计算公式分别如式(4)，式(5)和式(6)所示：

X为给定立体图像舒适度的主观分值，Y表示利用本文网络得到图像舒适度的客观分值， COV为协方差，δ_X和δ_Y分别为主观分值和客观分值的标准差；

X_i为第i幅立体图像舒适度的主观分值，Y_i为利用本文网络得到图像i舒适度的客观分值，为所有立体图像舒适度的主观平均值，为所有立体图像舒适度的客观平均值，n为立体图像的数量；

本发明的特点及有益效果是：