[发明专利]多注意力导向神经网络的立体显著性物体检测技术

权利要求书

1.一种多注意力导向神经网络的立体显著性物体检测技术，其特征在于，包括以下步骤：

步骤1)选取K幅原始RGB图像以及原始RGB图像对应的视差图和真实分割图，并构成训练集；

步骤2)构建多注意力导向神经网络；

步骤3)将训练集中的每幅原始RGB图以及对应的视差图输入到多注意力导向神经网络中进行训练，从输出层输出得到显著性预测分割图，计算显著性预测分割图和对应的真实分割图之间的损失函数值，损失函数值采用二值交叉熵获得；

步骤4)重复执行步骤3)共V次，共得到K×V个损失函数值，然后从K×V个损失函数值中找出值最小的损失函数值作为模型参数，从而完成多注意力导向神经网络的训练；

步骤5)将待显著分割的RGB图像以及对应的视差图输入训练好的多注意力导向神经网络中，输出获得对应的预测分割图像，完成立体显著性物体检测。

2.根据权利要求1所述的一种多注意力导向神经网络的立体显著性物体检测技术，其特征在于，所述步骤2)中，多注意力导向神经网络包括输入层、隐层和输出层，输入层包括RGB图输入层和视差图输入层，隐层包括视差图特征提取模块、RGB图特征提取模块、多注意力掩码生成模块和预测模块；

RGB图特征提取模块包括二型残差网络模块和四个卷积块；二型残差网络模块主要由依次连接的二型残差第一层、二型残差第二层、二型残差第三层、二型残差第四层组成，二型残差第一层、二型残差第二层、二型残差第三层、二型残差第四层的输出分别输入第四个卷积块、第三个卷积块、第二个卷积块、第一个卷积块，二型残差第一层接收RGB图输入层的输出；

视差图特征提取模块包括改进的谷歌神经网络和第五个卷积块，视差图输入层的输出经改进的谷歌神经网络输入第五个卷积块；

多注意力掩码生成模块包括三个采样块、两个叠加层和一个点和层，第一个上采样块接收第一个卷积块的输出，第一个叠加层接收第一个上采样块的输出和第二个卷积块的输出，第二个上采样块接收第一个叠加层的输入，第二个叠加层接收第二个上采样块的输出和第三个卷积块的输出，第三个上采样块接收第二个叠加层的输出；第一个点和层接收第五个卷积块和第三个上采样块的输入；

预测模块包括第一个点乘层、第三个叠加层和第四个上采样块，第一个点乘层接收第四个卷积块和第一个点和层的输入，第三个叠加层接收第四个卷积块和第一个点乘层的输入，第四个上采样块接收第三个叠加层的输入；

第四个上采样块经输出层输出。

3.根据权利要求2所述的一种多注意力导向神经网络的立体显著性物体检测技术，其特征在于，所述二型残差网络模块采用修改后的Res2Net模型，修改后的Res2Net模型删除了原Res2Net模型中第一个最大池化层且删除了最后所有的全连接层和平均池化层；

以下采样作为分界点将修改后的Res2Net模型分成二型残差第一层、二型残差第二层、二型残差第三层和二型残差第四层；修改后的Res2Net模型中：第一次下采样操作之前的所有层作为二型残差第一层，第一次下采样操作到第二次下采样操作之间的所有层作为二型残差网络第二层，第二次下采样操作到第三次下采样操作之间的所有层作为二型残差网络第三层，第三次下采样操作到第四次下采样操作之间的所有层作为二型残差网络第四层。

4.根据权利要求2所述的一种多注意力导向神经网络的立体显著性物体检测技术，其特征在于，改进的谷歌神经网络仅保留了原谷歌神经网络中茎干Stem部分以及茎干部分下面连接的五个Inception-resnet-A模块。

5.根据权利要求2所述的一种多注意力导向神经网络的立体显著性物体检测技术，其特征在于，五个卷积块均由卷积层、局部归一化层、激活层组成；四个上采样块均采用双线性插值的方式进行上采样。