[发明专利]一种基于双边注意力机制的RGB-D显著性物体检测方法

权利要求书

1.一种基于双边注意力机制的RGB-D显著性物体检测方法，其特征在于：步骤如下；S10跨模态特征提取、S20显著区域初步预测、S30预测图上采样、S40基于双边注意力的残差生成、S50残差补偿、S60重复步骤S30至S50，自顶向下地得到最终的预测结果，其中；

所述S10跨模态特征提取包括，使用神经网络提取RGB图像和深度图不同层级的特征，并将相同层级的两个模态特征融合，所述S20显著区域初步预测包括，联合最高层级的RGB图像特征和深度图特征预测显著区域，预测大致的前景背景区域，所述S30预测图上采样包括，将当前预测的显著图上采样，使之与前一层级特征的分辨率相同，所述S40基于双边注意力的残差生成包括，将得到的显著图使用Sigmoid函数激活作为前景注意力图，取反作为背景注意力图，分别从两个支路增强前一层级的特征，并使用增强后的特征联合预测S30中上采样后的显著图和真实标签之间的残差，所述S50残差补偿包括，将S40中预测的残差与S30中上采样得到显著图相加，得到修正后的显著图。

2.根据权利要求1所述的一种基于双边注意力机制的RGB-D显著性物体检测方法，其特征在于：所述S10跨模态特征提取中所述的神经网络可以是两路不共享参数VGG-16网络。

3.根据权利要求1所述的一种基于双边注意力机制的RGB-D显著性物体检测方法，其特征在于：所述S10跨模态特征提取中所述的不同层级特征是VGG-16网络各个池化层前的最后一层特征。

4.根据权利要求1所述的一种基于双边注意力机制的RGB-D显著性物体检测方法，其特征在于：所述S10跨模态特征提取中所述的两个模态特征融合的操作可以是拼接操作。

5.根据权利要求1所述的一种基于双边注意力机制的RGB-D显著性物体检测方法，其特征在于：所述S20显著区域初步预测中所述的联合方法可以是将特征拼接后使用一组卷积层和非线性激活层实现预测。

6.根据权利要求1所述的一种基于双边注意力机制的RGB-D显著性物体检测方法，其特征在于：所述S30预测图上采样中所述的上采样方法可以是双线性插值。

7.根据权利要求1所述的一种基于双边注意力机制的RGB-D显著性物体检测方法，其特征在于：所述S40基于双边注意力的残差生成中所述的第i层的前景注意力图和背景注意力图可以通过如下方式获得：其中σ(·)是Sigmoid激活函数，E为全1矩阵U(S_i+1)代表i+1层上采样后的显著图。

8.根据权利要求1所述的一种基于双边注意力机制的RGB-D显著性物体检测方法，其特征在于：所述S40基于双边注意力的残差生成中所述的两个支路可以由多个卷积层和非线性激活层构成。