[发明专利]一种基于卷积神经网络的深度感知显著性检测方法

说明书

本发明公开了一种基于卷积神经网络的深度感知显著性检测方法，具体步骤如下：a.将深度图转化为三通道深度图；b.将三通道深度图和彩色图分别送入彩色显著性网络和深度显著性网络中，得到彩色显著性图和深度显著性图；c.将彩色显著性图和深度显著性图一起送入显著性融合网络中，得到融合显著性图；d.将彩色显著性图和深度显著性图联合训练并计算损失函数loss，以此来训练步骤b和c中的网络，让其拥有更强的特征提取能力。

技术领域

本发明涉及一种图像显著性检测方法，特别是一种基于卷积神经网络的深度感知显著性检测方法，旨在通过RGB图和深度图来检测出图像中的显著性物体。

背景技术

显著性检测模仿人类视觉机制，利用计算机对图像上在人眼中最显著的物体进行检测，显著性检测算法得到的显著性图是一种灰度图，图中利用灰度值来表示图片中不同物体的显著性程度，图中越亮的区域越显著。近年来显著性检测一直是计算机视觉领域的一个重要课题，它可以在很多课题中起到应用，比如图像分类，图像分割和对象识别。随着显著性检测受到越来越多的关注，人们开始思考如何利用深度信息来辅助进行显著性检测，随着立体相机，深度相机以及微软的kinect传感器的出现，深度图被用到RGBD显著性检测中，RGBD显著性检测在3D内容监控，立体图像检索等方面有重要的应用。

现有技术中，2017年，宋等人针对RGBD图像和立体图像，提出一种深度感知显著性检测和分割框架，通过利用低级特征对比、中级特征加权因子和高级位置先验，基于多尺度区域分割计算了四类特征的各种显著性度量，利用随机森林回归器来区分显著性融合并在每个尺度上生成DSF显著性图。2017年，韩等人提出了一个基于双流法的RGBD显著性检测框架，该方法分别将彩色图像和深度图像分别送入两个VGG网络，并通过迁移学习的方式，将彩色通道的权重迁移到深度网络中，并采用多尺度融合的方式，将两种图所提取的特征进行融合得到最后的显著性图。2018年，朱等人提出基于编码器和解码器结构的RGBD显著性检测方法，该方法将提取RGB显著特征的网络部分作为主网络，深度图用子网络来提取特征，并采用简单级联的方式将两种特征融合再采用解码器结构将特征图还原为显著性图。以上这些方法虽然利用深度信息来生成显著性图，但对深度图中的信息提取不够，并且没有较好的将深度信息和彩色信息进行融合。

发明内容

本发明的目的在于提高现有技术的性能，提出一种基于卷积神经网络的深度感知显著性检测方法。其基于深度显著性网络，彩色显著性网络和显著性融合网络，利用深度信息和彩色信息能够更为准确地提取出RGBD图像中的显著性对象并将两种显著性图进行融合，并且有效地抑制无关的背景区域。

为了达到上述目的，本发明采用的技术方案如下：

一种基于卷积神经网络的深度感知显著性检测方法，具体步骤如下：

a.将深度图转化为三通道深度图；

b.将三通道深度图和彩色图分别送入彩色显著性网络和深度显著性网络中，得到彩色显著性图和深度显著性图；

c.将彩色显著性图和深度显著性图一起送入显著性融合网络中，得到融合显著性图；

d.将彩色显著性图和深度显著性图联合训练并计算损失函数loss，以此来训练步骤b和c中的网络，让其拥有更强的特征提取能力；

上述步骤(a)将深度图转化为三通道深度图，具体步骤如下：

(a-1)、将深度图像全部送入HHA算法中，将深度图转化为水平差异图，对地高度图以及表面法向量图三种单通道深度图；

(a-2)、将这三种单通道深度图的像素值用RGB三种颜色表示，再将三种单通道深度图组成三通道深度图。

上述步骤(b)中将两种图送入两种显著性网络，得到彩色显著性图和深度显著性图，具体步骤如下：

(b-1)、输入原始彩色图像和三通道深度图像其中N表示图像的总张数；