[发明专利]基于多通道特征的全景视频显著性检测方法

说明书

本发明提供了的一种基于多通道特征的全景视频显著性检测方法，对全景图像进行反向的ERP变换，将平面全景图像映射到球面上，生成球形全景图像；采用与球形全景图像相切的平面来模拟视觉窗口图像，得到不同的图像块；在不同特征空间中，利用不同的显著性操作算子将特征空间中图像块的显著区域提取出来，形成不同的显著特征子图，同时考虑图像块序列之间的运动信息，将图像的显著性检测转化为视频的显著性检测；对不同的显著特征子图进行融合，生成总显著性图。该方法模拟人类视觉注意力机制具有较好的准确性。

技术领域

本发明涉及图像显著性检测技术领域，具体地，涉及一种基于多通道特征的全景视频显著性检测方法，尤其是一种基于方向、颜色、空间频率和运动特征的全景视频显著性检测方法。

背景技术

传统图像的显著性检测目前已经是研究比较深入的课题，研究人员在过去三十年提出了许多模型，其中大部分的模型基于两种思路：自下而上、自上而下。自下而上的模型受数据驱动，将图像的颜色、对比和朝向等初级特征结合，考虑像素与周围领域在特征上的差异，与人的主观情感无关，比如Itti L等人提出的视觉显著性计算模型。自上而下的模型受任务驱动，将对于场景的先验知识加入到模型考虑中作为指导显著性分布的重要依据，包含了对人类心理活动的认知，例如人脸、车辆、中心位置更容易引起观察者的注意。

在图像的显著性数据收集中，观察者被允许在静态图像前反复观看来“寻找”显著性区域，这种观察方式和视频有很大的区别。在全景视频的观看中，画面内容是动态的，观察者在注视着一个位置或者移动头部时会经常错过一些物体，因此图像的显著区域不能完全对应全景视频的显著区域。

对于全景视频的显著性预测算法，De Abreu Ana等人在2017年《NinthInternational Conference on Quality of Multimedia Experience》上发表了“Lookaround you:Saliency maps for omnidirectional images in VR applications”，它将360°图像通过球面到矩形平面的映射(ERP变换)变为传统二维平面图像，再通过一种传统平面图像显著性检测算法来预测显著区域。然而这种方法对于全景图像到平面图像的映射中的畸变并没有进行处理，与人眼在虚拟现实环境中观看的全景内容还是有不小的差别。Battisti Federica等人在2018年《Signal Processing:Image Communication》上发表了“A feature-based approach for saliency estimation of omni-directionalimages”，它通过在360°图像中提取视觉窗口图像，对于色度、饱和度和基于图论的GBVS特征进行显著性度量，结合皮肤、人脸检测的结果整合成最终的显著性图。然而这种方法只考虑了全景图像的显著区域预测，由于忽略了帧间信息，并不适用于全景视频的显著区域预测。也有学者提出了基于深度学习的全景视频显著性检测算法，但是局限性较大，主要原因是动态场景的眼动数据集的数量较少且规模普遍较小。

目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。

发明内容

针对上述现有技术中存在的上述不足，本发明的目的是提供一种基于方向、颜色、空间频率和运动特征等多通道特征的全景视频显著性检测方法，该方法采用360°图像到平面图像的无畸变映射方法，通过自下而上的特征组合和特征提取与自上而下地建模思路相结合，同时考虑视频的帧间信息对显著性预测的影响，模拟人类视觉注意力机制具有较好的准确性。

本发明是通过以下技术方案实现的。

本发明提供了一种基于多通道特征的全景视频显著性检测方法，包括：

S1：对全景图像进行反向的ERP变换，将平面全景图像映射到球面上，生成球形全景图像；

S2：采用与球形全景图像相切的平面来模拟视觉窗口图像，得到不同的图像块；