[发明专利]一种全景拼接图像质量评价方法

说明书

本发明的全景拼接图像质量评价方法，利用全景图像和组成图像中生成一组失真图像块和参考图像块，并一起送入图像质量评价网络。通过卷积神经网络结构的特征提取器获取参考图像块和失真图像块的特征图以及他们的特征差异图作为全景图像的局部特征信息，将特征图融合后送入视觉自注意力模块TransformerEncoder，通过多头自注意力机制模块学习图像块之间的相互关系，并且经过条件位置编码生成器C‑PEG根据输入图像尺寸动态生成位置编码。最终结合图像块之间的相互关系和位置信息，以及图像局部特征，建立全景图像的全局信息，并预测图像质量。高效的利用了组成图像的无失真特性这一隐含信息；实现了局部特征与全局信息相结合；可以处理不同尺寸的输入图像。

技术领域

本发明涉及一种图像处理方法，具体而言是一种全景拼接图像质量评价方法。

背景技术

全景图像通常是通过使用拼接算法拼接多个视点图像生成的。在实际应用中，全景图像通常要经过一系列的阶段，然后才能通过头戴式显示器呈现给用户，包括视点图像的采集、拼接、编码、传输、存储和显示。每一个阶段都有可能引入失真，导致全景图像的退化从而最终影响图像的质量。全景图像质量评价(Panoramic image quality assessment,PIQA)对于全景图像技术有着至关重要的作用，因此对于全景图像进行质量评价是十分有意义的。

在全景图像的获得过程中，拼接失真是造成全景图像失真的主要原因之一。目前提出了许多关注于全景图像质量评价的通用方法，这些方法可以分为通用方法和基于特定目标的方法。类似于传统的通用IQA方法，通用的PIQA方法是那些可以用于PIQA而不需要事先知道失真类型的方法。

然而，这些用于通用PIQA方法性能验证的数据库只包含了除拼接阶段以外的其他阶段引入的失真，特别是编码阶段。因此这些算法在面对全景图像的拼接失真时，其性能会大幅度降低。

拼接失真是使用拼接算法从多幅组成图像生成全景图像时所产生的失真。与其他阶段引入的失真相比，拼接失真具有几何形变、重影等特殊性失真。这些类型的失真与传统的失真有很大的不同，但也严重影响了人们对图像质量的感知。