[发明专利]基于多层融合的卷积神经网络RGB-D显著性检测方法

权利要求书

1.一种基于多层融合的卷积神经网络RGB-D显著性检测方法，其特征在于，所述方法包括：

将VGG16网络中的全连层模块FC6和FC7转变为全卷积层、结合卷积层CONV1-CONV5组成新的卷积神经网络；

对新的卷积神经网络依次进行降维和融合操作，得到初始迭代的显著性检测结果；采用迭代优化对初始迭代的显著性检测结果进行细化；

采用不同的训练数据对新的卷积神经网络依次进行初始化训练、第一第二次微调训练；

对训练后的结果，使用显著性物体的最小包围框，对输入图像进行剪切和镜面翻转，获取显著性检测结果。

2.根据权利要求1所述的一种基于多层融合的卷积神经网络RGB-D显著性检测方法，其特征在于，所述新的卷积神经网络依次进行降维和融合操作具体为：

使用通道数为60的3×3的卷积核分别对转化为全卷积层的FC7层、池化层pool4层、pool3层和pool2层进行降维操作，得到降维后通道数为60的新特征CFC7层、Cpool4层、Cpool3层和Cpool2层；

从CFC7层开始逐渐融合尺度较小的Cpool4层、Cpool3层和Cpool2层的新特征。

3.根据权利要求1所述的一种基于多层融合的卷积神经网络RGB-D显著性检测方法，其特征在于，所述采用迭代优化对初始迭代的显著性检测结果进行细化具体为：

使用深度图作为线索，对当前显著性图进行校正，给深度较小的像素赋予较大的显著性值。

4.根据权利要求1所述的一种基于多层融合的卷积神经网络RGB-D显著性检测方法，其特征在于，所述采用不同的训练数据对新的卷积神经网络依次进行初始化训练具体为：

使用RGB图像、全零的显著性图和全零的深度图对所述新的卷积神经网络进行初始化。

5.根据权利要求1所述的一种基于多层融合的卷积神经网络RGB-D显著性检测方法，其特征在于，所述采用不同的训练数据对新的卷积神经网络进行第一第二次微调训练具体为：

使用RGB图像、初始化训练产生的显著性检测结果和全零的深度图，微调新的卷积神经网络；

使用RGB图像、第一次微调产生的显著性检测结果和深度图，微调新的卷积神经网络。

6.根据权利要求1所述的一种基于多层融合的卷积神经网络RGB-D显著性检测方法，其特征在于，所述使用显著性物体的最小包围框，对输入图像进行剪切和镜面翻转具体为：

通过剪切获取显著性物体的边界框，随机选取若干个开始和结束位置，采用水平翻转进一步扩展数据。