[发明专利]一种基于级联改良网络的显著性物体检测方法

说明书

本发明公开了一种基于级联改良网络的RGB‑D显著性物体检测方法，属于图像处理技术领域。大多数现有的RGB‑D模型直接聚合来自不同层级的CNN网络的特征，容易引入低层特征所含有的噪声和干扰信息。本发明创造性地提出一种级联改良式的结构，用高层部分的特征生成的显著性图作为掩膜来改良低层部分的特征，然后再通过聚合改良后的低层特征生成最终的显著性图；此外，为了排除深度图的干扰信息，本发明提出一个深度增强模块用于进行深度特征和RGB特征混合前的预处理。本发明用4个评价指标在7个数据集上进行实验，结果表明本发明超越当前所有最先进的RGB‑D显著性物体检测方法。

技术领域

本发明属于图像处理技术领域，特别涉及到一种基于级联改良网络的RGB-D显著性物体检测方法。

技术背景

RGB-D显著性检测目的是RGB图像结合深度信息来发现某个场景中最显著的物体。近年来，各种能够捕获深度信息的智能设备(比如智能手机、体感外设等)得到了普及和广泛地应用，因此大量的RGB-D显著算法被提了出来。

早期的RGB-D显著性检测算法主要利用手工特征，这些方法极大地依靠特定的一些知识，比如局部区域对比、全局区域对比、背景先验知识、空间先验知识和通道先验知识等。为了有效地利用手工特征，研究者们利用了各种经典的工具比如支持向量机、马尔科夫链、随机森林算法、元胞自动机等等，这些方法也都取得了可靠的效果。除此之外，各种融合策略也被研究者们探索，比如早期融合即直接把深度图作为除RGB以外的第四个通道输入网络，中期融合即融合来自RGB网络和深度网络的特征，晚期融合即通过相乘或相加混合深度信息和RGB信息各自预测的显著性图等，也取得了不错的效果。

随着卷积神经网络(CNN)的流行，各种基于深度网络的算法特别提了出来。早期的深度算法是基于手工特征，利用深度网络进行分类，这种方法依赖人为定义的特征，并且不能够被端对端的训练。为了充分的利用深度信息，研究者们提出了不同的深度网络结构(比如单网络流的、双网络流的、三网络流)和各种多尺度多模态混合策略。但是由于设备采集的深度图可能会含有很多的噪音和误导性信息，所以研究者们提出利用先验知识、深度过滤器单元来改善深度信息。

以上的工作虽然考虑到了网络不同层级特征都包含了有效的信息并加以利用，但是却忽略了低层部分特征所含有的噪声和冗余，缺乏对特征的有效利用，这些干扰信息往往会导致生成的显著性图包含背景的干扰；此外，深度特征与RGB信息的结合往往是通过通道上的拼接，元素级的相加或相乘，这些操作并不能有效地减小深度特征和RGB特征模态之间的差异和消除低质量深度图的干扰。

发明内容

本发明的目的是解决现有RGB-D显著性检测方法中针对各层次特征不加区分直接聚合从而引入了低层部分特征所包含的噪音导致的背景干扰问题，以及针对提高深度特征和RGB特征模态的匹配能力问题，设计了一种基于级联改良网络的RGB-D显著性物体检测方法。

本发明采用的技术方案是：

一种基于级联改良网络的显著性物体检测方法，该方法利用高层部分特征生成的初级显著性图改良低层部分的特征，再通过聚合改良后的低层特征生成最终的显著性图，具体包含如下步骤：

第1步、利用两个相同架构的CNN网络，一个网络输入RGB图像提取5个不同层级的RGB特征，另一个网络输入深度图图像提取5个不同层级的深度特征；

第2步、将第1步提取到的5个不同层级的深度图像特征分别经过一个深度增强模块(DEM)获得增强后的深度特征，然后将对应层级增强后的深度特征和RGB特征分别融合获得多模态特征，该深度增强模块由两个依次执行的通道注意力操作和空间注意力操作组成。

第3步、通过一个级联特征解码器(Cascade Decoder 1)聚合第3至第5层的高层部分的多模态特征生成初始的显著性图，并用该初始显著性图作为掩膜通过与第1至第3层的低层部分的多模态特征各个通道分别进行元素级别的乘积操作改良第1至第3层的低层部分的多模态特征。