[发明专利]一种基于双向融合网络的显著性物体检测方法及装置

说明书

本发明公开了一种基于双向融合网络的显著性物体检测方法及装置，采用双向融合网络，能够更好地融合不同层级的特征。该方法包括以下步骤：提取输入图片的多尺度多层级特征图；采用前向特征融合子神经网络从底层到顶层逐渐融合多尺度多层级特征图，得到种子特征图；采用反向特征融合子神经网络将种子特征图自顶层向底层逐层与多尺度多层级特征图进行融合，得到与输入图片相同分辨率的特征图；采用反向融合子神经网络的多个卷积层对得到的与输入图片相同分辨率的特征图进行多卷积融合，得到显著性物体分割图。

技术领域

本公开涉及模式识别、计算机视觉、深度学习领域，特别一种基于双向融合网络的显著性物体检测方法及装置。

背景技术

显著性物体检测任务旨在识别并分割出图片中最吸引人注意的物体。它是计算机视觉领域的一个基础问题，常常作为目标检测、图像编辑和图片分割等视觉任务的预处理过程。随着深度卷积神经网络发展，尤其是全卷积神经网络的发表，显著性物体检测等稠密预测在近几年取得了重要的发展。

一般来说，深度卷积网络能够提取输入图片的不同层级的特征。具体来说，深度卷积网络的顶层编码了用于分类的高级的语义信息。而底层则编码了丰富的局部细节信息，例如边缘和纹理信息。局部细节信息有助于得到精细边缘的分割图，而高层语义信息则提供了显著性物体所在区域。对于显著性物体检测而言，高层语义信息和低层细节信息是同等重要的。如何有效的融合这两种特征成为了显著性物体检测的关键。

显著性物体检测领域目前表现最好的融合方式是自顶向下的融合方式。发明人在研发过程中发现：自顶向下的融合方式不能够区分细长的和低对比度的区域。这是由于高层语义信息是低分辨率的，只包含了显著性物体的大致区域，甚至会丢失一部分低对比度的显著性区域。而低层的细节信息只能在最后几个阶段起作用，并不能有效的利用低层的细节信息。仅仅自顶向下融合这些特征是不完整的。

发明内容

为了克服上述现有技术的不足，本公开提供了一种基于双向融合网络的显著性物体检测方法及装置，采用双向融合网络，能够更好地融合不同层级的特征。

本公开所采用的技术方案是：

一种基于双向融合网络的显著性物体检测方法，该方法包括以下步骤：

提取输入图片的多尺度多层级特征图；

采用前向特征融合子神经网络从底层到顶层逐渐融合多尺度多层级特征图，得到种子特征图；

采用反向特征融合子神经网络将种子特征图自顶层向底层逐层与多尺度多层级特征图进行融合，得到与输入图片相同分辨率的特征图。

进一步的，用前馈子神经网络对输入图片进行卷积和下采样处理，得到多个不同尺度、不同层级的图像特征图，并分别输出至前向特征融合子神经网络和反向特征融合子神经网络的每一个卷积层上。

进一步的，所述采用前向特征融合子神经网络从底层到顶层逐渐融合多尺度多层级特征图的步骤包括：

采用前向融合子神经网络中第一卷积层融合前馈子神经网络得到的最底层两个不同层级的特征图，得到前向融合子神经网络最底层融合后的特定层级特征图；

采用元素重排方法对前向融合子神经网络中上一卷积层融合后的特定层级特征图进行下采样，得到与当前阶段特征图分辨率相同的重排后特征图；

采用直接拼接方法将到的重排后特征图与前馈子神经网络得到的当前阶段特征图进行融合，得到融合后的特定层级特征图；

重复上述步骤，直至采用直接拼接方法将到的重排后特征图与前馈子神经网络得到的最顶层特征图进行融合，得到同时包含局部细节和全局语义信息的种子特征图。

进一步的，所述采用反向特征融合子神经网络将种子特征图自顶层向底层逐层与多尺度多层级特征图进行融合的步骤包括：