[发明专利]一种基于多维注意力机制的无参考立体图像质量评价方法

说明书

本发明涉及一种基于多维注意力机制的无参考立体图像质量评价方法，包括下列步骤：对用于训练的原始立体图像进行预处理，将其转换成灰度图像并分割成不重叠的小图像块，为每个图像块赋予图像的真实质量分数，从中随机选取若干作为网络模型的输入；训练基于多维注意力的卷积神经网络，方法如下：(1)使用一组卷积和池化操作的CCP模块对左右视图提取初级特征，左右视图经处理后得到初级特征图；(2)将左右视图的初级特征图送入视图融合子网络，计算融合特征图；(3)将融合特征图输入基于多维注意力的多尺度特征增强子网络，预测图像的质量分数；(4)计算网络的损失函数，进行迭代训练；使用训练好的网络进行图像质量评价。

技术领域

本发明涉及立体图像质量评价领域，尤其涉及一种模拟双目竞争和视觉注意力机制的无参考评价算法。

背景技术

根据评价主体的不同，立体图像质量评价算法可以分为主观评价和客观评价。主观评价算法要求被测人员在一定的实验环境下，根据所给出的各项指标对图像质量进行打分，然后统计出图像的平均分值。通常主观评价会得到主观意见平均分数(Mean OpinionScore,MOS)和差分平均意见分数(Differential Mean Opinion Score,DMOS)两种。客观评价算法借助数学模型，对人类视觉系统进行模拟，进而评估图像质量。由于人是图像的最终接收主体，因此主观评价算法通常具有更高的准确性。然而进行主观评价存在耗时、无法实时评估、成本大等缺点，且容易受到被测者自身的影响。相较于主观评价，基于算法的客观质量评价不需要大量的人工参与，只需要设计相应的预测模型，经过立体图像特征提取，模型训练等过程即可得到图像的质量分数，因此客观的质量评价方法成为研究重点。

根据图像质量评价时对参考图像的依赖程度，客观立体图像质量评价(StereoImage Quality Assessment,SIQA)方法可以分为全参考(Full Reference,FR)、半参考(Reduced Reference,RR)和无参考(No Reference,NR)三种。在实际环境中，由于参考图像可能没有或者很难获取得到，因此不依附于参考图像的NR-SIQA具有更广泛的应用场景，逐渐成为主流研究方向。

早期的NR-SIQA将成熟的平面图像质量评价算法直接应用于立体图像的单个视图，然后使用左、右视图的平均值表示立体图像的质量分数。然而这些算法没有考虑双目视觉特性，因此无法准确地评估立体图像质量的好坏。随着对人脑视觉机制的深入理解，一些基于视差响应和双目视觉特性的方法被提出。还有部分方法结合视觉显著性模型，进一步模拟人类视觉信息处理机制。然而，由于人类视觉系统(Human Visual System,HVS)的层次结构及其复杂性，目前基于手工特征提取的SIQA方法性能并不理想。

随着深度学习的兴起，近年来人们尝试采用深度学习解决图像质量评价问题。不同于手工特征提取，深度学习方法一般使用卷积神经网络(Convolution Neural Network,CNN)模型自动提取特征。得益于网络中的大量参数和自学习能力，基于CNN的SIQA方法取得了准确的评估性能。

发明内容

本发明提出一种基于多维注意力机制的无参考立体图像质量评价算法，能够较好的模拟人类视觉系统的双目竞争和视觉注意力机制，技术方案如下：

一种基于多维注意力机制的无参考立体图像质量评价方法，其特征在于，包括下列步骤：

第一步，对用于训练的原始立体图像进行预处理，将其转换成灰度图像并分割成不重叠的小图像块，为每个图像块赋予图像的真实质量分数，从中随机选取若干作为网络模型的输入；

第二步，训练基于多维注意力的卷积神经网络，方法如下：

(1)使用一组卷积和池化操作的CCP模块对左右视图提取初级特征，左右视图经处理后得到初级特征图；