[发明专利]一种基于双边注意力机制的RGB-D显著性物体检测方法

说明书

本发明涉及图像处理技术领域，尤其为一种基于双边注意力机制的RGB‑D显著性物体检测方法，步骤如下；S10跨模态特征提取、S20显著区域初步预测、S30预测图上采样、S40基于双边注意力的残差生成、S50残差补偿、S60重复步骤S30至S50，自顶向下地得到最终的预测结果，所述S10跨模态特征提取包括，使用神经网络提取RGB图像和深度图不同层级的特征。本发明的目的是解决基于深度学习的RGB‑D方法无差别地从前景背景中学习所致的性能瓶颈问题，设计了一种基于双边注意力机制的RGB‑D显著性物体检测方法（BiANet），本发明提出的BiANet通过双边注意力机制有效地从前景背景中学习到了显著性物体的特性，经实验，本发明在公开的6个数据集上均超越最前沿的RGB‑D显著性物体检测方法。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于双边注意力机制的 RGB-D显著性物体检测方法。

背景技术

显著性检测的目的是检测出一个场景中最吸引人类注意力的物体，在视觉追踪、图像分分割等很多视觉任务上有广泛的应用；目前大多方法重点考虑从RGB图像中预测显著物体，这些方法很容易受到前景与背景相似颜色和前景物体内部强烈颜色对比度等因素的干扰，导致检测的错误；随着低成本深度传感器的普及，场景的深度图越来越容易被捕获；深度图提供了场景三维的空间关系，可以有效地辅助显著性物体检测算法避免由前景和背景颜色带来歧义；因此越来越多工作开始研究如何更好地借助深度图来进行显著性物体检测任务，即RGB-D显著性物体检测。

之前的RGB-D显著性物体的方法，常常使用深度对比度作为重要的先验；近期，Zhao等人在工作“Contrast prior and fluid pyramid integration for RGBD salientobject detection”中将深度对比度先验引入到深度学习方法中有效地提升了检测精度；这些方法实际上是利用深度信息将注意力关注于前景区域；但是，理解什么是背景对显著性检测任务也十分重要；前景和背景的分布存在巨大差异，无差别地从其中学习显著性的线索较为困难；传统方法中有一些方法提出分别从前景和背景推理显著性区域的策略，但是在基于深度学习的方法中，这个朴素而有效的思想并未被重视。

发明内容

本发明的目的在于提供一种基于双边注意力机制的RGB-D显著性物体检测方法，以解决上述背景技术中提出的现有的前景和背景的分布存在巨大差异，无差别地从其中学习显著性的线索较为困难以及传统方法中有一些方法提出分别从前景和背景推理显著性区域的策略，但是在基于深度学习的方法中，这个朴素而有效的思想并未被重视的问题。

为了实现以上目的，本发明采用的技术方案为：一种基于双边注意力机制的RGB-D显著性物体检测方法，步骤如下；S10跨模态特征提取、S20显著区域初步预测、S30预测图上采样、S40基于双边注意力的残差生成、S50残差补偿、S60重复步骤S30至S50，自顶向下地得到最终的预测结果，其中；

所述S10跨模态特征提取包括，使用神经网络提取RGB图像和深度图不同层级的特征，并将相同层级的两个模态特征融合，所述S20显著区域初步预测包括，联合最高层级的RGB图像特征和深度图特征预测显著区域，预测大致的前景背景区域，所述S30预测图上采样包括，将当前预测的显著图上采样，使之与前一层级特征的分辨率相同，所述S40基于双边注意力的残差生成包括，将得到的显著图使用Sigmoid函数激活作为前景注意力图，取反作为背景注意力图，分别从两个支路增强前一层级的特征，并使用增强后的特征联合预测S30中上采样后的显著图和真实标签之间的残差，所述S50残差补偿包括，将S40中预测的残差与S30中上采样得到显著图相加，得到修正后的显著图。

进一步的，所述S10跨模态特征提取中所述的神经网络可以是两路不共享参数VGG-16网络。

进一步的，所述S10跨模态特征提取中所述的不同层级特征是VGG-16网络各个池化层前的最后一层特征。