[发明专利]一种判别辅助和多模态加权融合的显著物体检测方法

说明书

本发明公开了一种判别辅助和多模态加权融合的显著物体检测方法。在训练阶段，构建生成器部分卷积神经网络以及判别器部分卷积神经网络，生成器部分卷积神经网络的隐层包括彩色显著图获取流和热红外显著图获取流；判别器部分卷积神经网络包括四个共享参数、相同结构的卷积神经网络，隐层包括真实/彩色/热红外/融合判别卷积模块、真实/彩色/热红外/融合判别全连接；使用原始图像输入到卷积神经网络中进行训练；在测试阶段，将待检测图像输入到生成器部分中，得到预测显著性检测图像。本发明提高了网络的网络对光线变化的不敏感程度，在黑夜条件下也能检测出显著物体，并且进一步优化了预测图的轮廓信息。

技术领域

本发明涉及一种基于深度学习的显著性检测方法，尤其涉及一种判别辅助和多模态加权融合的显著物体检测方法。

背景技术

显著性检测的目的是检测场景中最引人注目的物体，其已经在计算机视觉和机器人视觉领域得到了广泛的应用。传统的显著性检测方法的效果差，并且受到手工制作的相关特征的限制，随着卷积神经网络的兴起，显著性检测得到了极大的发展。目前，最常用的显著性检测方法采用的都是利用彩色图像进行显著性检测，但是只使用彩色图像进行显著性检测易受到光线因素的影响，为了解决彩色图像受光线因素影响的问题，彩色图像加热红外图像的显著检测方法得到了一定的关注。

现有的基于卷积神经网络的显著性检测方法一般都是利用彩色图像和热红外图像的互补关系，通过大量的跳连、残差、注意力机制将彩色图像和热红外图像进行融合，这种方法在绝大多数的场景下都取得了较好的结果，但是彩色图像和热红外图像不止存在着互补特征，同时也存在着差异特征，如：图6a和图6b，彩色图像在夜晚场景下几近全黑，如果仅仅考虑互补信息，平等的对待彩色信息和热红外信息，势必会带来大量的噪声，导致检测结果的下降。此外，现有的方法采用的简单的相加，相乘操作不能较好的探索多尺度信息之间的互补性，最终会导致预测结果粗糙，检测精度低。

发明内容

为了解决背景技术中的问题，本发明提供了一种判别辅助和多模态加权融合的显著物体检测方法，其适用范围广，不受光线条件影响。

本发明采用技术方案包括以下步骤：

步骤1：选取Q幅原始场景图像以及每幅原始场景图像对应的真实显著检测图像构成训练集，每幅原始场景图像由原始彩色图像和对应的原始热红外图像组成；

步骤2：构建卷积神经网络，包括生成器部分和判别器部分；

生成器部分卷积神经网络包括输入层、隐层和输出层；隐层包括彩色显著图获取流、热红外显著图获取流，彩色显著图获取流包括彩色预训练模块、五个依次连接的彩色优化模块、四个依次连接的彩色解码模块，热红外显著图获取流包括热红外预训练模块、五个热红外优化模块、四个热红外解码模块；

输入层包括彩色显著图获取流输入端和热红外显著图获取流输入端，彩色显著图获取流输入端接收一幅原始彩色图像的红、绿、蓝三层通道分量，热红外显著图获取流输入端接收一幅原始热红外图像的三通道分量；

输出层包括彩色输出层、热红外输出层、融合输出层、多模态加权融合模块和最终输出层，第四个彩色解码模块分别输入融合输出层和彩色输出层，第四个热红外解码模块分别输入融合输出层和热红外输出层，多模态加权融合模块输入最终输出层；

判别器部分卷积神经网络包括四个共享参数且结构相同的判别卷积神经网络，四个判别卷积模块的输入端分别接收真实显著检测图像、彩色显著性预测图、热红外显著性预测图和融合显著性预测图；每个判别卷积神经网络依次连接的判别卷积模块、判别全连接模块和判别输出层；