[发明专利]一种RGB-D图像显著性目标获取的方法

说明书

本发明提供一种RGB‑D图像显著性目标获取的方法，提出一种交织融合网络，用于相互指导RGB‑D特征的联合提取，并通过网络浅层和深层结构密集地整合跨模态的互补信息，这样能自动且充分地抓取潜在的有用信息，并减少由于跨模态数据的不一致性引起的干扰。与单独提取RGB‑D特征后将其整合方式相比，RGB‑D特征的交互引导有利于促进跨模态信息的互补性融合，缓解不同模态中的不一致问题；还可以降低因为成像环境或设备引起的低质深度图带来的负面影响。通过在损失函数构造时引入对抗损失项，为RGB‑D显著性目标检测提供全局语义约束，使检测结果不仅关注像素级显著性属性，还能捕获对象级的全局语义特征，生成具有完整结构、清晰边界的显著性图。

技术领域

本发明涉及计算机视觉、深度学习技术领域，尤其涉及一种RGB-D图像显著性目标获取的方法。

背景技术

人类的视觉注意力机制可快速从场景中定位最吸引其注意的内容，受此机制启发，视觉显著性目标检测任务就是希望计算机也可以模拟该机制，自动定位场景中的显著性目标或区域，已经被广泛应用于分割、检测、编码、重定向、质量评价等诸多领域，具有十分广阔的理论研究和工程应用前景。实际上，人眼通过双目视觉感知外部客观世界，进而获得场景的景深信息，产生立体感。随着传感器设备的不断成熟与发展，深度图的采集变得更加准确和方便，RGB-D图像数据可以为场景描述提供彩色和深度两种模态信息，更接近于人类真实的视觉感知系统，两种模态信息相辅相成、互为补充，进而提供更加全面的数据表达方法，有利于进一步增强相关视觉任务的性能，如显著性目标检测、场景分析等。近年来，大数据时代的来临为深度学习技术的蓬勃发展提供了有利支持，该技术已经在很多研究邻域取得了显著地性能突破与提升，其中也包括RGB-D图像的显著性目标检测任务。

Qu等人设计了一种卷积神经网络(CNN)来自动学习底层线索和显著性结果之间的相互作用关系以实现RGB-D图像显著性目标检测。该方法首先将局部对比度、全局对比度、背景先验和空间先验组合得到原始显著性特征向量，然后将其嵌入到CNN中生成初始显著性图，最后引入拉普拉斯传播以进一步细化初始显著性图并得到最终结果。Han等人将RGB网络结构迁移到深度视角，并将两个视角的深层表示融合以生成最终的显著性图。Chen等人提出了一种用于RGB-D显著性目标检测的渐进互补的融合网络，其中引入了跨模态残差函数和互补感知监督。

Chen等人提出了一种三流注意力感知的RGB-D显著性目标检测网络，其中跨模态流侧重于增强自下而上通路中的RGB-D特征表示，通道注意力机制旨在自适应地选择自上而下的推断通路中的互补特征图。Zhao等人在CNN架构中引入对比度先验来增强深度信息，并且将增强的深度线索进一步与RGB特征集成，通过一种新颖的流体金字塔集成模块进行显著性目标检测。

发明内容

本发明的实施例提供了一种RGB-D图像显著性目标获取的方法，以解决发明人发现的现有技术中存在的以下缺点和不足：(1)对于彩色图和深度图的跨模态互补信息融合的挖掘并不深入，导致融合后的特征判别力不足，影响算法性能；(2)现有算法并未关注显著性目标结构的完整性，导致检测结果中显著性区域不完整、边缘模糊。

为了实现上述目的，本发明采取了如下技术方案。

一种RGB-D图像显著性目标获取的方法，包括：

基于输入的RGB-D图像，通过交织融合网络中的RGB分支、深度分支分别提取RGB图像和深度图像的跨模态特征；

基于RGB图像和深度图像的跨模态特征，通过交织融合网络中的融合分支由深到浅的逐步整合来自同一级的跨模态特征，得到具有判别力的显著性特征；

基于显著性特征，通过损失函数进行显著性预测，得到显著性结果图。

优选地，基于输入的RGB-D图像，通过交织融合网络中的RGB分支和深度分支分别提取RGB图像和深度图像的跨模态特征包括：