[发明专利]一种基于多维注意力机制的无参考立体图像质量评价方法

权利要求书

1.一种基于多维注意力机制的无参考立体图像质量评价方法，其特征在于，包括下列步骤：

第一步，对用于训练的原始立体图像进行预处理，将其转换成灰度图像并分割成不重叠的小图像块，为每个图像块赋予图像的真实质量分数，从中随机选取若干作为网络模型的输入；

第二步，训练基于多维注意力的卷积神经网络。方法如下：

(1)使用一组卷积和池化操作的CCP模块对左右视图提取初级特征，左右视图经处理后得到初级特征图；

(2)将左右视图的初级特征图送入视图融合子网络，计算融合特征图：视图融合子网络中包含多维注意力模块，该模块由通道注意力模块和空间注意力模块组成；在通道注意力模块中，输入的初级特征图经过两个相同的分支，在每个分支中进行通道降维，再经过全局平均池化，通过全连接层和Sigmoid激活函数，获得每个通道的权重，对每个通道的特征图进行加权，得到通道注意力加权的特征图；在空间注意力模块中，将并行的两路通道注意力加权的特征图进行维度变换并执行矩阵乘法操作，经过Softmax激活函数得到每个视图结合通道和空间注意力的权重，使用该权重对左右视图的初级特征图加权得到融合特征图；

(3)将融合特征图输入基于多维注意力的多尺度特征增强子网络，预测图像的质量分数：基于多维注意力的多尺度特征增强子网络通过三组卷积和池化操作的CCP模块提取维度变换后的融合特征图在三个不同尺度上的特征图，其中的最小尺度上的特征图称为原始深层融合特征图；每个尺度上的特征图均输入一个多维注意力模块，经过通道降维，得到三个降维后的特征图；其中两个降维后的特征图经过通道注意力模块进行通道加权，然后经过维度变换，并执行矩阵乘操作和Softmax激活函数处理得到多维注意力权重，使用该权重对所述的三个降维后的特征图中的第三个特征图进行加权，得到基于多维注意力机制的特征图；通过上采样方法将三个尺度上得到的基于多维注意力机制的特征图进行融合，并在融合后的特征图上使用三个CCP模块进行特征提取，得到深层基于多维注意力的多尺度特征增强特征图；将深层基于多维注意力的多尺度特征增强特征图与原始深层融合特征图进行加和得到增强的特征图，送入全连接层进行图像质量分数的预测；

(4)计算网络的损失函数，进行迭代训练：在得到预测的图像质量分数后，计算网络的损失函数，损失函数采用均方根误差(RMSE)并增加用以防止过拟合现象发生的L2正则化，以此衡量网络预测的图像质量分数与真实的图像质量分数间的差异，通过在训练过程中多次迭代，不断更新网络参数以最小化损失函数，使得网络预测的图像质量分数更接近真实分数，从而得到训练好的网络模型。

第三步，使用训练好的网络进行图像质量评价。

2.根据权利要求1所述的无参考立体图像质量评价方法，其特征在于，所述的CCP模块包含两个3×3的卷积层和一个池化层。

3.根据权利要求1所述的无参考立体图像质量评价方法，其特征在于，第二步的步骤(2)中，在每个分支中通过1×1大小的卷积核进行通道降维，再经过全局平均池化，通过全连接层和Sigmoid激活函数，获得每个通道的权重，使用Scale操作对每个通道的特征图进行加权，得到通道注意力加权的特征图。

4.根据权利要求1所述的无参考立体图像质量评价方法，其特征在于，第二步的步骤(3)中，每个尺度上的特征图均输入一个多维注意力模块，经过三个并行的1×1卷积操作进行通道降维，得到三个降维后的特征图。

5.根据权利要求1所述的无参考立体图像质量评价方法，其特征在于，第三步的方法为：对待评价立体图像进行预处理后输入网络，并对网络输出的图像块质量分数进行平均处理得到整张图像的质量分数。