[发明专利]一种融合三模态图像的显著性目标检测系统及方法

说明书

本发明提供一种融合三模态图像的显著性目标检测系统及方法，属于图像显著性检测技术领域，所述系统通过全局注意力加权融合实现了对三个模态的高级特征更细致的融合，并通过空洞卷积操作得到大尺度特征，对大尺度特征使用特征矩阵相乘的方式，保存了特征图整体间信息的关联性；通过双模态注意融合实现了跨模态信息的更充分融合，以深度图像为主要引导，另外两模态特图像分别作为辅助补充，两模态相辅相成，再结合使用空洞卷积、矩阵相乘、矩阵相加等方式处理特征，从而实现了更好的跨模态融合；通过三模态交互加权实现了对三模态信息的互补融合，同时在继承上一层解码特征的基础上，补充了当前层的详细特征，使整个解码过程不断丰富信息。

技术领域

本发明属于图像显著性检测技术领域，具体涉及一种融合三模态图像的显著性目标检测系统及方法。

背景技术

显著性目标检测主要用于检测图像中最重要和最有用的目标或区域。显著性目标检测作为预处理步骤，用检测到的目标区域代替原始图像，进入下一阶段的处理和分析，如图像分割、目标跟踪、目标检索和识别等。

近十年来，大多数研究主要集中在可见光RGB(RGB即红、绿、蓝三个通道的颜色)的显著性目标检测(简称SOD)上，即RGB-SOD。RGB显著性目标检测利用可见光图像中丰富的颜色和纹理信息，取得了良好的检测效果。然而，在一些弱光照、背景杂乱等复杂的场景中，RGB显著性目标检测的性能并不令人满意。

随着体感摄像机的普及，将深度信息集成到RGB显著性检测中(即RGB-D SOD)，以提高检测性能。深度信息可以有效区分目标与背景之间的距离差异，因此对单模态RGB信息可以作为一个补充信息来提高检测效果。但同时也引入了一些分散信息，主要有以下三个：首先，当场景复杂时，显著物体会与杂乱的深度图像背景混在一起，分散了显著性目标检测的焦点；其次，当显著物体与背景相距很近时，显著物体的深度信息是不完整的；最后，深度图像仍然难以区分一些小显著物体。

最近，在RGB显著性检测中加入热红外图像(即RGB-T SOD)，主要是为了解决光照变化带来的挑战。与可见光和深度图像不同的是，即使在低照度和完全黑暗的环境中，温度图像也能区别显著目标与背景之间的轻微温度差。因此，温度图像可以帮助可见光图像在复杂光环境下完成显著性目标检测任务。然而它也有一些挑战性场景，有以下三个：首先当显著目标的温度与部分背景的温度相同时，即热交叉；其次，显著目标的部分比整个目标更显著；最后，环境中存在类似镜面的表面。

从以上分析可以看出，任何单一模态图像都有其优点和缺点。因此，双模态(即RGB-D和RGB-T)SOD方法可以获得更好的性能。然而，现有的这些双模态方法在实际应用中仍有一定的局限性，特别是在现实生活中复杂的干扰环境中。

目前，显著性目标检测方法主要是RGB SOD、RGB-D SOD、RGB-T SOD三大类，而这三大类中，基于深度学习的显著性目标检测方法性能要高于无监督的显著性目标检测方法。基于深度学习的显著性目标检测方法主要使用编解码的形式。编码即为利用广泛使用的分类网络VGG和ResNet作为特征提取网络；解码即为对编码过程中提取的各级特征做进一步处理，从高级特征开始逐渐的补充低级细节特征，最后得到预测的显著性图。然而现有基于深度学习的显著性目标检测方法存在以下弊端：①面对更加复杂的场景，RGB单模态的显著性目标检测方法已经不能取得令人满意的结果了。②现有基于RGB-D的显著性目标检测方法，只能作为辅助信息，并没有解决在雨天、大雾、黑暗等复杂条件下预测结果差的问题。③现有基于的RGB-T显著性目标检测方法，在RGB图像清晰的条件下，预测结果容易受到T图像的影响，导致预测结果不准确。

发明内容

基于上述问题，本发明提出一种融合三模态图像的显著性目标检测系统，包括：图像采集模块、图像配准与注释模块、特征提取模块、解码模块；

所述图像采集模块用于采集三模态图像，所述三模态图像包括RGB图像、深度图像、红外热图像；