[发明专利]基于跨模态交流编码器的RGBD显著性物体检测方法及系统

说明书

本发明公开了一种基于跨模态交流编码器的RGBD显著性物体检测方法及系统，包括：步骤1，获取待检测图片的RGB图片与深度图；步骤2，将所述RGB图片与深度图输入至预先训练好的显著性物体检测模型中，得到RGBD显著性物体检测结果；其中，所述显著性物体检测模型包括：跨模态双向交流编码器以及分组融合解码器；所述跨模态双向交流编码器包括：平行的RGB子网络与深度图子网络，以及按层级插入在所述RGB子网络与所述深度图子网络之中的多个跨模态双向交流模块；本发明通过在编码器中设置跨模态双向交流模块，在特征提取阶段即可实现RGB特征、深度图特征的跨模态双向交流，使得两种模态能够互相优化和纠错，充分利用模态互补性，有效提高RGBD检测结果的准确性。

技术领域

本发明涉及图像处理与计算机视觉技术领域，特别涉及一种基于跨模态交流编码器的RGBD显著性物体检测方法及系统。

背景技术

显著性物体检测旨在模拟人类视觉系统，在图像中定位最吸引人注意力的物体。显著性检测可应用于多种视觉任务，如视频、图像的检索、压缩、编辑，目标分割，跟踪等。虽然RGB显著性物体检测方法因深度学习的兴起已取得较大进展，但单一模态输入的显著性物体检测仍然面临诸多挑战，例如相似的前景背景、复杂杂乱的背景、低对比度的图像等。RGBD——即输入为单张RGB彩色图像和对应的深度图的显著物体检测技术一定程度上能克服上述问题，因此最近受到研究者和业界的关注和研究。

目前，基于深度学习的RGBD显著性物体检测方法都采用双流结构，即分别采用两个编码器对RGB图和深度输入信号进行特征提取，在提取到特征后再进行融合交流或者在解码阶段对RGB信息与深度信息进行融合解码。然而，现实中输入的深度图往往质量不好且包含噪声，因此现有基于深度学习的RGBD显著性物体检测方法的编码器所提取的深度特征容易受到深度图的质量的影响，从而进一步影响最终检测结果的准确性。

例如，申请号为2019114162822的中国专利，公开了一种基于孪生网络的RGBD显著物体检测方法，其通过构建参数共享的孪生神经网络来提取RGB图和深度图的层次化特征，并采用具有融合功能的解码器，将层次化特征进行特征融合后再进行解码，在利用孪生网络提取到相应的特征后，在解码阶段进行融合解码，使得RGB信息和深度信息互相补充，但其存在未在编码阶段进行特征融合、使得编码器提取的深度特征容易受到低质量深度图的影响的缺陷。

发明内容

本发明的目的在于克服现有技术中所存在的编码阶段或不存在跨模态的交流，或只存在从深度模态到RGB模态的单方向特征融合的缺陷，提供一种基于跨模态交流编码器的RGBD显著性物体检测方法及系统，通过在编码阶段进行跨模态交流，在编码阶段所提取的深度特征不易受到深度图的质量的影响，能够有效提高检测准确度。

为了实现上述发明目的，本发明提供了以下技术方案：

一种基于跨模态交流编码器的RGBD显著性物体检测方法，包括：

步骤1，获取待检测图片的RGB图片与深度图；

步骤2，将所述RGB图片与深度图输入至预先训练好的显著性物体检测模型中，得到RGBD显著性物体检测结果；

其中，所述显著性物体检测模型包括：跨模态双向交流编码器以及分组融合解码器；所述跨模态双向交流编码器包括：平行的RGB子网络与深度图子网络，以及按层级插入在所述RGB子网络与所述深度图子网络之中的多个跨模态双向交流模块；

所述跨模态双向交流模块用于接收所述RGB子网络与所述深度图子网络第i层输出的特征向量，并对接收到的特征向量进行跨模态交流得到层次化特征；以及，输出所述层次化特征至所述RGB子网络与所述深度图子网络的第i+1层；并输出所述层次化特征至所述分组融合解码器，以使所述分组融合解码器根据接收到的层次化特征进行解码得到RGBD显著性物体检测结果；

其中，i＝0、1...n；n为所述RGB子网络与深度图子网络的网络层级数。