[发明专利]基于多层融合的卷积神经网络RGB-D显著性检测方法

说明书

本发明公开了一种基于多层融合的卷积神经网络RGB‑D显著性检测方法，包括：将VGG16网络中的全连层模块FC6和FC7转变为全卷积层、结合卷积层CONV1‑CONV5组成新的卷积神经网络；对新的卷积神经网络依次进行降维和融合操作，得到初始迭代的显著性检测结果；采用迭代优化对初始迭代的显著性检测结果进行细化；采用不同的训练数据对新的卷积神经网络依次进行初始化训练、第一第二次微调训练；对训练后的结果，使用显著性物体的最小包围框，对输入图像进行剪切和镜面翻转，获取显著性检测结果。本发明设计了有效的CNN模型，融合RGB和深度信息，并捕获显著对象的多尺度特征，融合了从较高层到较低层的卷积特征，以解决显著性物体的尺度问题。

技术领域

本发明涉及RGB-D显著性检测领域，尤其涉及一种基于多层融合的卷积神经网络RGB-D显著性检测方法。

背景技术

近年来，由于深度采集设备的发展和深度信息与显著性物体的密切关系，深度信息在图像显著性检测中引起了研究人员的关注。深度信息有助于区分具有相似颜色的前景物体和背景，得到较好的显著性检测结果。

针对一些图像现有的显著性检测器无法得到较好的显著性检测结果，导致RGB显著性检测器失效的主要原因是，仅使用RGB无法提供有效的前景和背景区分能力。然而，目前一些显著性检测算法，仅仅将深度信息作为额外的特征计算前景区域和背景区域像素(或者超像素)之间的距离。但由于深度图只有一个通道，如何从单通道上提取有效特征比较困难。仅将深度图作为附加特征不能紧密地耦合RGB和深度信息。尽管在一些工作中已经验证了深度对于显著性检测的重要性，但由于缺少RGB-D数据，RGB-D显著性检测并不像RGB显著性检测那样流行。

目前大多数RGB-D显著性检测器使用深度信息作为计算两个超像素之间距离的附加特征，这样无法有效的探索显著对象和RGB-D信息之间的关系。Qu等人通过CNN学习超像素的显著特征的组合^[1]，以紧密耦合RGB和深度。Han等人提出了一种基于CNN的框架^[2]，用于自动融合RGB和深度视图以获得显著性图。为了追求充分的融合，Chen等人提出了一种逐步互补的融合网络^[3]。

但这些方法都只是将RGB图像和深度图相结合，使用深度卷积网络直接输出显著性图，没有进一步利用深度图对显著性图进行优化。

参考文献

[1]L.Qu,S.He,J.Zhang,J.Tian,Y.Tang,and Q.Yang,Rgbd salient objectdetection via deep fusion,”IEEE Transactions on Image Processing,vol.26,no.5,pp.2274–2285,2017.

[2]J.Han,C.Hao,N.Liu,C.Yan,and X.Li,“Cnnsbased rgb-d saliencydetection via cross-view transfer and multiview fusion,”IEEE Transactions onCybernetics,vol.PP,no.99,pp.1–13,2017.

[3]C.L.Y.Chen H.,“Progressively complementarityaware fusion networkfor rgb-d salient object detection,”in IEEE Conference on Computer Vision andPattern Recognition,2018.

发明内容

本发明提供了一种基于多层融合的卷积神经网络RGB-D显著性检测方法，设计一个有效的CNN模型，融合RGB和深度信息，并捕获显著对象的多尺度特征，通过融合了从较高层到较低层的卷积特征，以解决显著性物体的尺度问题，详见下文描述：