[发明专利]一种基于特征聚合的RGBD显著性检测方法

权利要求书

1.一种基于特征聚合的RGBD显著性检测方法，其特征在于，步骤如下：

步骤1、对输入图像进行预处理；

通过HHA算法将深度图像由单通道编码为三通道的表示形式；同时，模拟类似于点云的数据结构，将深度信息从2D像素转换成3D点云；

步骤2、构建显著性检测网络；

显著性检测网络包括特征提取网络和特征聚合网络；

所述的特征提取网络为一对基于ResNet50构建的非对称双流主干网络，分为RGB图像特征提取分支和深度图像特征提取分支，分别用于提取RGB图像和深度图像的多级外观和几何特征；通过特征提取网络提取得到多级外观特征和多级几何特征；

所述的特征聚合网络包括K近邻GNNs、区域增强模块、分级融合模块、分块Non-local模块；

构建的K近邻GNNs，分别将点云中的点与对应的双流CNNs输出的特征相关联，并以此作为图模型节点的初始状态；在迭代更新的过程中，每一个节点的状态由其自身的历史状态和相邻节点的状态共同决定；

设计基于注意力机制的区域增强模块，在进行跨模态特征初步融合的同时实现粗略地定位显著区域；区域增强模块可以分别强化显著区域与非显著区域，进而为前景和背景的预测提供可靠的模版；

通过分级融合模块，利用基于池化的结构提升模型的多尺度表达能力；

分级融合模块内部通过并行的不同尺度的池化操作来提取不同尺度的特征，进而与相应级别的初步融合特征进行深度融合；多个分级融合模块实现了较深层高级语义信息和较浅层局部细节信息的逐步融合，使得模型在复杂场景下更具鲁棒性；

特征聚合网络在融合外观特征和几何特征的基础上进一步聚合了来自K近邻GNNs的空间几何特征，并以注意力和多尺度的方式逐步地强化了显著性特征；最后，在真值图的约束下生成高质量的显著性图；

步骤3、训练显著性检测网络，通过训练好的显著性检测网络进行显著性检测。

2.根据权利要求1所述的进一步的，所述的一种基于特征聚合的RGBD显著性检测方法，其特征在于，步骤1具体方法如下：

输入图像包括深度图像和RGB图像，采用HHA算法将深度图像由单通道编码为三通道的表示形式，分别表征了水平视差、离地面的高度以及像素局部表面法线与推断的重力方向所成的角度，形成以RGB图像I和深度图像D作为模型输入的图像对。

3.根据权利要求2所述的进一步的，所述的一种基于特征聚合的RGBD显著性检测方法，其特征在于，进一步的，所述的特征提取网络为一对基于ResNet50构建的非对称双流主干网络，分为RGB图像特征提取分支和深度图像特征提取分支，分别用于提取RGB图像和深度图像的多级外观和几何特征；为了实现端到端的训练方式，丢弃特征提取网络最后的全连接层，其中RGB图像特征提取分支保留了5级卷积块，分别实现了2、4、8、16、16倍的下采样，而深度图像特征提取分支保留了3级卷积块，分别实现了2、4、8倍的下采样；通过特征提取网络提取得到多级外观特征和多级几何特征覆盖了低级空间细节和高级语义信息。

4.根据权利要求3所述的进一步的，所述的一种基于特征聚合的RGBD显著性检测方法，其特征在于，进一步的，所述的特征聚合网络采用K近邻图神经网络即K近邻GNNs解决RGBD显著性检测问题；对于给定的深度图像，为了降低计算复杂度和减少内存消耗，进行8倍下采样；利用经HHA算法计算得到的水平视差通道来模拟场景的空间结构，并以此构造有向图，其中将每一个像素视为一个图节点；在有向图构造完后，使用CNNs作为特征提取器计算每一个像素的特征，所述的像素的特征为外观特征，并将获得的外观特征作为相应节点的初始隐层状态

K近邻GNNs只随时间变化更新图中节点的隐层状态，故将更新过程简化为：

其中，向量表示表示在t时刻节点v从它相邻节点集合中收集到的信息,为邻域信息聚合函数，为隐层状态更新函数，定义某一时刻t的其中表示用于聚合每一个节点的邻域信息的多层感知机(MLP)；采用K近邻算法计算节点的特定邻域范围；定义某一时刻t的其中表示用于更新每一个节点的隐层状态的多层感知机(MLP)，[·]表示级联操作；在循环T次后，K近邻GNNs输出特征