[发明专利]一种全景拼接图像质量评价方法

权利要求书

1.一种全景拼接图像质量评价方法，其特征在于：从全景图像中选取关键图像块，将关键图像块与组成图像进行特征点匹配，并生成一组失真图像块P_d,i和参考图像块P_r,i，并一起送入图像质量评价网络进行评价，通过卷积神经网络结构的特征提取器获取参考图像块和失真图像块的特征图以及他们的特征差异图作为全景图像的局部特征信息，之后将特征图融合后送入视觉自注意力模块Transformer encoder，用于学习图像块之间的互信息；并且经过条件位置编码生成器C-PEG根据输入图像尺寸动态生成位置编码信息，最终结合图像块之间的互信息和位置编码信息，以及图像块局部特征，建立全景图像的全局信息，并预测图像质量；

所述关键图像块选择的方法如下：将全景图像I_p经过SIFT特征检测算法生成全景图像特征点k_p，将这些兴趣点经过LOF算法去除特征点k_p中的离群点；之后将全景图像特征点k_p经过K-Means++进行聚类，具体做法为：

Step 1:从数据集中随机选取一个样本作为初始聚类中心C₁；

Step 2:首先计算每个样本与当前已有聚类中心之间的最短距离，用D(x)表示；接着计算每个样本被选为下一个聚类中心的概率最后，按照轮盘法选择出下一个聚类中心；

Step 3:重复第2步直到选择出共K个聚类中心，C_i,i＝1,…,K；

经过K-Means++聚类算法得到了K个聚类中心点之后，以聚类中心C_i为中心裁切出256*256的图像块，即得到失真图像块P_d,i,i＝1,…,K；K为失真图像块的个数；

将失真图像块P_d,i和组成图像I_c,j j＝1,…,N，N为组成图像个数,经过SIFT特征检测算法生成特征点k_d,i和k_c,j；

使用FLANN库，通过构建k-d Tree并在k-d Tree上使用最近邻查找算法，将失真图像块特征点k_d,i与组成图像特征k_c,j进行匹配，得到匹配相似度S_j以及匹配特征点k_m,j，并计算k_d,i到k_m,j的投影变换矩阵H_j；在遍历完所有组成图像后，选择匹配相似度最高的一张组成图像I_c,j，取其相对应的匹配特征点k_m,j的最大外接矩形，获得相应的参考图像块P_r,i；同时对P_d,i进行投影变换，使得P_d,i与P_r,i保持一致的视角；然后将P_d,i经过投影变换后的形状作为二值模板与P_r,i相与，以获得相同的图像内容；最后对P_d,i与P_r,i都求取其最大内接矩形并裁切，并调整图像块尺寸至224*224；

所述视觉自注意力模块Transformer encoder由两个模块组成：多头自注意力MSA模块和多层感知机MLP模块，每个模块前都有归一化LN层对输入数据归一化，且在每个模块的后面都连接Dropout层用于抑制过拟合；设定的超参数为视觉自注意力模块transformerencoder的深度L＝4，MSA模块的头数为4，式(1)表示了视觉自注意力模块transformerencoder中的各个阶段：

式中，Dropout表示用于抑制过拟合的Dropout层；MSA表示多头自注意力机制；C_PEG表示条件位置编码器；LN表示Layer Norm数据归一化层；Z_l代表输入transformer encoder中第l层的向量信息；C-PEG为多头自注意力机制模块，用于根据输入图像尺寸动态生成位置编码；

所述条件位置编码生成器C-PEG的处理方法是：首先将输入条件位置编码生成器C-PEG的一维序列其中还B为批大小，K为图像块的个数，经过Encoder Block；然后在二维空间中进行重塑得到其中H,W为全景图像的高度和宽度，n为图像块的尺寸，将使用卷积核大小，其中R≥3，并且具有零填充的2-D卷积函数生成X^′的条件位置编码得到条件位置编码后再将其重塑成与输入序列相同的一维形式最后将位置编码E与序列X相加后输入下一层Encoder Block。