[发明专利]一种判别辅助和多模态加权融合的显著物体检测方法

权利要求书

1.一种判别辅助和多模态加权融合的显著物体检测方法，其特征在于，包括以下步骤：

步骤1：选取Q幅原始场景图像以及每幅原始场景图像对应的真实显著检测图像构成训练集，每幅原始场景图像由原始彩色图像和对应的原始热红外图像组成；

步骤2：构建卷积神经网络，包括生成器部分和判别器部分；

生成器部分卷积神经网络包括输入层、隐层和输出层；隐层包括彩色显著图获取流、热红外显著图获取流，彩色显著图获取流包括彩色预训练模块、五个依次连接的彩色优化模块、四个依次连接的彩色解码模块，热红外显著图获取流包括热红外预训练模块、五个热红外优化模块、四个热红外解码模块；

输入层包括彩色显著图获取流输入端和热红外显著图获取流输入端，彩色显著图获取流输入端接收一幅原始彩色图像的红、绿、蓝三层通道分量，热红外显著图获取流输入端接收一幅原始热红外图像的三通道分量；

输出层包括彩色输出层、热红外输出层、融合输出层、多模态加权融合模块和最终输出层，第四个彩色解码模块分别输入融合输出层和彩色输出层，第四个热红外解码模块分别输入融合输出层和热红外输出层，多模态加权融合模块输入最终输出层；

判别器部分卷积神经网络包括四个共享参数且结构相同的判别卷积神经网络，四个判别卷积模块的输入端分别接收真实显著检测图像、彩色显著性预测图、热红外显著性预测图和融合显著性预测图；每个判别卷积神经网络依次连接的判别卷积模块、判别全连接模块和判别输出层；

步骤3：将训练集中的原始场景图像作为原始输入图像，以小批量且分为单数次和偶数次的形式输入步骤2构建的卷积神经网络中进行训练，得到训练集中的每幅原始场景图像对应的彩色显著性预测图、热红外显著性预测图、融合显著性预测图和最终显著性预测图，所有原始场景图像对应的彩色显著性预测图构成的集合记为对应的热红外显著性预测图构成的集合记为对应的融合显著性预测图构成的集合记为和对应的最终显著性预测图构成的集合记为所有原始场景图像对应的真实显著检测图像构成的集合记为J_true；

真实显著检测图像、彩色显著性预测图、热红外显著性预测图和融合显著性预测图分别输入四个判别卷积神经网络进行训练得到对应的真实判别输出图、彩色判别输出图、热红外判别输出图、融合判别输出图，彩色判别输出图、热红外判别输出图、融合判别输出图、真实判别输出图对应的集合分别记为K^R，K^T、K^S和K^Z；

当小批量计数为单数时，总损失为生成器部分损失Loss₁和判别器部分损失Loss₂之和，记为Loss＝Loss₁+Loss₂；当小批量计数为双数时，仅需计算生成器部分损失Loss₁，总损失为生成器部分损失Loss₁，总损失记为Loss＝Loss₁；

步骤4：重复执行步骤3共V次，共得到V个损失函数值Loss；然后从V个损失函数值中找出生成器部分最小的损失函数值；接着将值最小的损失函数值对应的权值矢量和偏置项对应作为卷积神经网络模型的最优权值矢量和最优偏置项，从而完成卷积神经网络模型的训练；

步骤5：将待检测场景图像中的彩色图像和热红外图像输入训练后的生成器部分卷积神经网络，并利用训练好的最优权值矢量和最优偏置项进行预测，得到对应的显著性预测图。