[发明专利]一种基于特征聚合的RGBD显著性检测方法

说明书

本发明提供一种基于特征聚合的RGBD显著性检测方法，首先对输入图像进行预处理；然后构建显著性检测网络；显著性检测网络包括特征提取网络和特征聚合网络。特征提取网络为一对基于ResNet50构建的非对称双流主干网络，分为RGB图像特征提取分支和深度图像特征提取分支。特征聚合网络包括K近邻GNNs、区域增强模块、分级融合模块、分块Non‑local模块。最后训练显著性检测网络，通过训练好的显著性检测网络进行显著性检测；本发明高效地联合推理了2D外观和3D几何信息，充分融合了来自于RGB图像和深度图像这两种不同模态的信息，通过分级融合模块进一步提升了模型的多尺度表达能力，使得粗糙级别的特征和精细级别的特征很好地融合在一起。

技术领域

该基于特征聚合的RGBD显著性检测方法属于计算机视觉领域，特别是利用卷积神经网络来聚合RGB图像和深度图像中所包含的不同模态的特征信息。

背景技术

随着计算机视觉的快速发展和人工智能浪潮的来袭，深度学习技术得到了广泛的应用。利用计算机技术来模拟人眼的注意力机制成为了一个新兴且极具挑战性的研究热点。视觉显著性是指人类在观察某一区域时视野中存在能够引起人类视觉关注的局部区域，该局部区域被称为显著区域。显著性检测主要用于凸显图像或者视频中的显著区域。总体来说，显著性检测广泛应用于图像分割、对象识别、视频编码等领域，开展相关研究工作具有十分重要的实际意义。

目前，已经陆续提出了许多针对RGB图像的显著性检测模型，但是在某些复杂场景中，例如前景和背景相似、光照强度低等，其整体表现仍差强人意。随着传感器技术的不断发展，深度传感器(Microsoft Kinect和Intel RealSense等)采集到的深度信息在一定程度上解决了这一问题。因此，在RGB显著性检测的基础上引入蕴含丰富空间结构信息的深度特征，即RGBD显著性检测，进一步推动了显著性检测任务的发展，提升了显著区域的检测精度。

尽管已有RGBD显著性检测方法取得了令人鼓舞的性能，但在几个关键方面仍有很大的改进空间：1)目前已有的基于深度学习的RGBD显著性检测模型基本上是利用卷积神经网络(CNNs)来进行特征提取，不管是对于RGB图像还是深度图像来说都是如此。毫无疑问，CNNs特别是全卷积神经网络(FCNs)在图像处理领域取得了瞩目的成就，大幅提升了在相关任务上的性能表现，因而得到了极其广泛地应用。但是，众所周知，CNNs更擅长于提取二维外观信息，而缺乏对三维几何信息进行有效表征的能力。不可否认的是，深度图像作为RGB图像的补充，其能够可靠地反映场景中的空间结构，从而更有利于准确地区分显著区域和背景区域。2)RGB图像和深度图像这两种不同的模态存在固有差异，因此很难通过简单的串联将这两种模态进行有效地融合。具体来说，RGB图像反映的主要是颜色、纹理和亮度等外观信息，而深度图像则更多的表达了场景中的空间几何信息，二者截然不同，如果只是采取简单的融合策略可能会导致不兼容问题。3)在风格迥异的众多场景中，往往会存在尺度差异明显的对象，这将极大的考验模型的多尺度表达能力。探索如何在复杂场景下兼顾不同尺度的特征，进而精确定位显著区域具有重要的理论意义。

发明内容

针对现有技术中存在的不足，本发明提供一种基于特征聚合的RGBD显著性检测方法。通过用于RGBD显著性检测的端到端的特征聚合网络模型进行显著性检测。

一种基于特征聚合的RGBD显著性检测方法，步骤如下：

步骤1、对输入图像进行预处理；

通过HHA算法将深度图像由单通道编码为三通道的表示形式。同时，模拟类似于点云的数据结构，将深度信息从2D像素转换成3D点云。

步骤2、构建显著性检测网络；

显著性检测网络包括特征提取网络和特征聚合网络。