[发明专利]排列注意力特征的全景图像显著性预测方法、系统及终端

说明书

本发明提供了一种基于排列注意力特征的全景图像显著性预测方法，包括：提取模板特征图和逐通道特征图，将所述模板特征图和所述逐通道特征图进行相乘生成逐通道特征；将生成的所述逐通道特征进行注意力特征排列；根据排序结果，选择对细粒度显著性预测有用的所述逐通道特征进行特征增强，将选择的所述逐通道特征输入到卷积神经网络中进行头部注视点的预测。本发明还提供与上述方法对应的系统及终端。本发明不仅可以较好的模拟人类视觉注意力机制，而且也得到了较高的预测准确率。

技术领域

本发明涉及图像显著性预测技术领域，具体地，涉及一种基于排列注意力特征的全景图像显著性预测方法，尤其是一种基于部分注意力特征、逐通道特征以及排列注意力特征的全景图像显著性预测方法。

背景技术

近几年，随着移动互联网技术和先进显示技术的快速发展，虚拟现实(VR)正逐渐走进人们的生活并得到了广泛的应用。其中，通过头戴式显示器(HMD)展示全景图像和全景视频是VR技术的一个非常重要的应用。不同于传统的图像和视频，全景图像和全景视频可以给用户提供沉浸式和交互式的视觉体验。具体的是，用户可以通过头戴式显示器自由的移动他们的头观看视角场范围在360°×180°内的内容。换句话说，人们可以自由的转动他们的头观看全景图像中最吸引人们视觉注意力的区域。因此，可以看出头部注视点对于探索和建模全景图像中的视觉注意力是至关重要的。所以有必要预测全景图像中的头部注视点。

对全景图像中的头部注视点进行显著性预测的模型可以分为两类：一类是基于低层次特征提取的显著性预测方法；另一类是基于深度学习技术的高层次语义特征提取的显著性预测方法。其中，对于第一类显著性预测方法，比较具有代表性的工作是Lebreton等人在2018年《Signal Processing:Image Communication》上发表的“Gbvs360,bms360,prosal:Extending existing saliency prediction models from 2d toomnidirectional images”，它是通过对传统的两种显著性预测方法BMS和GBVS进行扩展，使其适用于全景图像，提出了BMS360和GBVS360的显著性预测方法。

此外，还有Zhu等人在2018年《Signal Processing:Image Communication》上发表的“The prediction of head and eye movement for 360 degree images”，通过将全景图像投影成多个视角块模拟视角窗口，然后在多个视角块上提取自下而上和自上而下的特征，最后把提取的这些特征进行融合得到头部注视点的显著图。然而，这类方法都是启发式的，显著性预测的准确率不高。第二类是基于深度学习的显著性预测方法，目前性能比较好的方法是Pan等人在2018年《CVPR Scene Understanding Workshop》上发表的“Salgan:Visual saliency prediction with adversarial networks”，它通过引入对抗样本并进行对抗训练实现显著性预测。然而，这一类基于各种变种的CNN模型对全景图像执行显著性预测时，并不是所有经过CNN模型提取的特征都对最后的细粒度显著性预测有用，即存在特征冗余的情况，这会对显著性预测产生不良的影响。

发明内容

针对上述现有技术中存在的不足，本发明的目的是提供一种基于排列注意力特征的全景图像显著性预测方法、系统及终端，基于部分注意力特征(前景和背景注意力图)、逐通道特征以及排列注意力特征机型全景图像显著性预测。

根据本发明第一方面，提供一种基于排列注意力特征的全景图像显著性预测方法，包括：

提取模板特征图和逐通道特征图，将所述模板特征图和所述逐通道特征图进行相乘生成逐通道特征；

将生成的所述逐通道特征进行注意力特征排列；

根据排序结果，选择对细粒度显著性预测有用的所述逐通道特征进行特征增强，将选择的所述逐通道特征输入到卷积神经网络中进行头部注视点的预测。