[发明专利]一种基于视差估计增强的显著物体检测方法

权利要求书

1.一种基于视差估计增强的显著物体检测方法，其特征在于：包括训练阶段和测试阶段两个过程；

所述的训练阶段过程的具体步骤为：

步骤1_1：选取Q幅原始左视图和对应的Q幅原始右视图、Q幅真实视差标签图以及Q幅真实显著检测图像，并构成训练集；

步骤1_2：将训练集输入总卷积神经网络，总卷积神经网络输出每幅原始左视图对应的三幅显著性预测图、一幅视差预测图和四幅监督预测图；总卷积神经网络包括第一阶段卷积神经网络、第二阶段卷积神经网络和第三阶段卷积神经网络；第三阶段卷积神经网络分别与第一阶段卷积神经网络和第二阶段卷积神经网络相连，训练集分别输入到第一阶段卷积神经网络、第二阶段卷积神经网络，第一阶段卷积神经网络输出一幅显著性预测图和视差预测图，第二阶段卷积神经网络输出一幅显著性预测图和四幅监督预测图，第三阶段卷积神经网络输出一幅显著性预测图；

步骤1_3：计算训练集中的每幅原始左视图对应的三幅显著检测性预测图构成的集合与对应的真实显著检测图像之间的损失函数值作为第一损失函数值，计算训练集中的每幅原始左视图对应的四幅监督预测图构成的集合与对应的真实显著检测图像之间的损失函数值作为第二损失函数值，计算训练集中的每幅原始左视图对应的一幅视差预测图与对应的真实视差标签图之间的损失函数值作为第三损失函数值；第一损失函数值、第二损失函数值和第三损失函数值组成总损失函数值；

步骤1_4：重复执行步骤1_2和步骤1_3共V次，得到Q×V个总卷积神经网络，并共得到Q×V×3个总损失函数值；然后从Q×V×3个总损失函数值中分别找出三个最小的第一损失函数值、第二损失函数值和第三损失函数值；接着，将三个最小的第一损失函数值、第二损失函数值和第三损失函数值分别对应的权值矢量和偏置项作为对应阶段卷积神经网络的最优权值矢量和最优偏置项，获得训练好的总卷积神经网络；

所述的测试阶段过程的具体步骤为：

步骤2：选取待检测的场景图像，将待检测的场景图像输入到训练好的总卷积神经网络，得到待检测的场景图像对应的显著检测性预测图。

2.根据权利要求1所述的一种基于视差估计增强的显著物体检测方法，其特征在于：所述第一阶段卷积神经网络具体为：

包括第一阶段左视图输入流、右视图输入流、第一左视图彩色图像预训练层、右视图彩色图像预训练层、第一视差增强模块、第二视差增强模块、第三视差增强模块、第一加权双目模块、第二加权双目模块、第三加权双目模块、第四加权双目模块、第五加权双目模块、第一上采样增强模块、第二上采样增强模块、第三上采样增强模块、第四上采样增强模块、第五上采样增强模块、第六上采样增强模块、第七上采样增强模块、第八上采样增强模块和第一显著性输出和视差输出；

第一阶段左视图输入流与第一左视图彩色图像预训练层相连，右视图输入流与右视图彩色图像预训练层相连，第一左视图彩色图像预训练层的第一输出、第二输出、第三输出、第四输出和第五输出分别输入到第一加权双目模块、第二加权双目模块、第三加权双目模块、第四加权双目模块和第五加权双目模块，第一左视图彩色图像预训练层的第三输出、第四输出和第五输出还分别输入到第一视差增强模块、第二视差增强模块和第三视差增强模块；右视图彩色图像预训练层的第一输出、第二输出、第三输出、第四输出和第五输出分别输入到第一加权双目模块、第二加权双目模块、第三加权双目模块、第四加权双目模块和第五加权双目模块，右视图彩色图像预训练层的第三输出、第四输出和第五输出还分别输入到第一视差增强模块、第二视差增强模块和第三视差增强模块；

第五加权双目模块的输出输入第一上采样增强模块，第一上采样增强模块的输出与第四加权双目模块的输出进行按通道数相加后输入到第二上采样增强模块，第二上采样增强模块的输出与第三加权双目模块的输出进行按通道数相加后输入到第三上采样增强模块，第三上采样增强模块的输出与第二加权双目模块的输出进行按通道数相加后输入到第四上采样增强模块，第四上采样增强模块的输出与第一加权双目模块的输出进行按通道数相加后输入到第五上采样增强模块，第五上采样增强模块与第一显著性输出相连；

第三视差增强模块的输出输入到第六上采样增强模块，第六上采样增强模块的输出与第二视差增强模块的输出进行按通道数相加后输入到第七上采样增强模块，第七上采样增强模块的输出与第一视差增强模块的输出进行按通道数相加后输入到第八上采样增强模块，第八上采样增强模块与视差输出相连，第一显著性输出和视差输出分别输出一幅显著性预测图和一幅视差预测图。