[发明专利]基于正则化稠密连接特征金字塔的实例显著性检测方法

说明书

一种基于正则化稠密连接特征金字塔的实例显著性检测的方法。该方法的目的是构造稠密连接的特征金字塔来进行图像实例级显著性检测。该方法设计了一种新的卷积神经网络模型，这种新的卷积神经网络模型通过构建该发明提出的正则化的稠密连接在原有特征金字塔的基础上构造一个新的特征金字塔。稠密连接为构建新特征金字塔提供了更多的低层级特征，而正则化操作在稠密连接提供更多低层级特征的情况内更好地提取其中的有用信息而刨除无用信息。此外，利用多级RoIAlign方法进行特征聚合可以更精确地对实例进行分割。使用该方法检测出的显著性实例，可以用于重要目标分割、自适应图像压缩、图像检索等应用领域。

技术领域

本发明属于图像处理技术领域，特别涉及到一种基于多层次上下文特征融合的显著性物体检测的方法。

背景技术

实例显著性物体检测相对显著性检测来说，是一个较新的问题。显著性检测致力于模拟人类视觉系统来检测一张图像中显著的物体或者区域，而最近的显著性模型研究成果也在显著性物体检测上取得了巨大的成功，但很少有研究实例显著性检测的成果。实例显著性物体检测技术相比显著性物体检测技术，它需要检测出输入图像下每个显著性实例，且生成每个显著性实例的像素级分割，而不是简单地生成输入图像对应的无法区分出不同显著性实例的显著性图。实例显著性物体检测和显著性物体检测也类似，因为它们在计算机视觉中都有着广泛的用途，比如图像检索、视觉跟踪、场景分类、基于内容的视频压缩和弱监督学习。虽然已经有一些实例显著性模型已经被提出了，但是实例显著性检测的精度仍然差强人意，尤其是在很多复杂的场景下。

实例显著性检测方法一般使用卷积神经网络作为主体。卷积神经网络的主干网络通常由几个堆叠在一起的卷积/池化模块组成，其中靠近输入的模块被称作底层，而离输入较远的模块被称作高层。在深度学习社区中，人们普遍认为神经网络的高层包含语义相关的信息，而神经网络的底层包含辅助的细节信息。2017年在IEEE CVPR上发表的“Instance-level salient object segmentation”提出的MSRNet是第一个使用卷积神经网络设计实例显著性检测方法的文章，其先使用显著性检测方法预测出输入图像的显著性图，再使用卷积神经网络预测出显著性轮廓，最后利用“Multiscale Combinatorial Grouping”中的MCG方法生成建议的物体分割结果生成实例显著性检测结果。这个方法的不足之处在于：它是基于后处理的手段生成的实例显著性检测结果，这种处理手段难以优化，因为它需要分阶段地对每个阶段单独进行优化，也正是因此它的检测效果很差；此外，它的检测速度也很慢，难以用于实际的应用中。2019年在IEEE CVPR上发表的“S4Net:Single Stage Salient-Instance Segmentation”在Mask R-CNN的基础上设计了能整体进行优化的实例显著性分割方法，这种方法的创新点是学习“GrabCut:Interactive foreground extraction usingiterated graph cuts”中的策略，通过整合检测到的实例区域及其周围的一小部分背景来预测每个实例的像素级分割结果，这种操作被叫做RoIMasking。除此之外，它也利用扩张卷积设计了一个分割分支来从特征金字塔中的一个特定的特征层级上预测检测到的每个实例的像素级分割。虽然这种方法能取得相对于2017年在IEEE CVPR上发表的MSRNet方法较好的效果，但这种方法缺陷在于它没有很充分地利用多层级的卷积特征来预测显著性实例的位置和对应的像素级分割，无法更充分捕捉周围的环境信息从而导致检测准确度的下降。

发明内容

本发明目的是更加充分地利用多层级的卷积特征，通过引入正则化的稠密连接构建更加强大的特征金字塔，通过多级的RoIAlign方法充分考虑多层级的卷积特征从而更加精确地预测每个实例的像素级分割结果。为了实现本发明的目的，本发明提出了一种基于正则化稠密连接特征金字塔的实例显著性检测方法，该方法采用新的卷积神经网络模型，通过输入一张任意大小的图像，就可以高效的检测出图像中显著性实例和每个实例对应的像素级分割结果，该方法能够进行更准确的实例显著性检测。