[发明专利]一种结合彩色和深度信息的图像显著目标检测方法

权利要求书

1.一种结合彩色和深度信息的图像显著目标检测方法，其特征在于包括以下步骤：

步骤1)采集多幅已知显著目标区域的彩色图像RGB及其对应的深度图像D以及彩色图像RGB和深度图像D对应的显著目标真值图Y；

步骤2)构建显著目标检测的神经网络，包括有：将彩色图像RGB和深度图像D输入神经网络得到彩色信息预测的显著图P_rgb和深度信息预测的显著图P_d，根据彩色图像特征图F_rgb和深度图像特征图F_d预测获得一张权重图SW，根据彩色信息预测的显著图P_rgb结合显著目标真值图预测获得标签图Y_sw，彩色信息预测的显著图P_rgb和深度信息预测的显著图P_d根据权重图SW得到融合后的显著目标检测图P_fuse；

所述步骤2)包括依次连接的特征提取模块、权重图预测模块和显著目标检测图融合模块，具体为：

步骤2.1)：将彩色图像RGB和深度图像D输入特征提取模块，输出得到彩色图像特征图F_rgb和深度图像特征图F_d，利用获得的彩色图像特征图F_rgb和深度图像特征图F_d预测得到显著图，即分别得到彩色信息预测的显著图P_rgb和深度信息预测的显著图P_d；

步骤2.2)：将彩色图像特征图F_rgb与深度图像特征图F_d级联后输出，得到新特征图F_rgbd，将新特征图F_rgbd输入到权重图预测模块预测得到权重图SW，同时根据彩色信息预测的显著图P_rgb结合显著目标真值图预测获得标签图Y_sw；

步骤2.3)：显著目标检测图融合模块利用权重图SW对彩色信息预测的显著图P_rgb和深度信息预测的显著图P_d进行加权融合，得到融合后的显著目标检测图P_fuse；

步骤3)构建显著图损失函数L_sal、权重图损失函数L_sw和显著图边缘损失函数L_edge三个损失函数，将三个损失函数计算获得的损失函数值通过反向传播进行迭代计算，从而对神经网络进行训练；

步骤4)采用训练后的神经网络处理未知显著区域的彩色图像RGB及其对应的深度图像D，获得待测图像的显著目标检测结果。

2.根据权利要求1所述的一种结合彩色和深度信息的图像显著目标检测方法，其特征在于：所述步骤(2.1)中，彩色图像RGB和深度图像D均采用相同方式进行处理得到图像特征图F_rgb和深度图像特征图F_d，以下以彩色图像RGB为例说明：

所述的特征提取模块包括五个依次连接的小模块，每个小模块均由卷积层、激活层、池化层依次连接构成，每个小模块各自输出一张特征图，五张特征图分别为F₁、F₂、F₃、F₄和F₅，然后采用一种往前递进的方式反向融合五张特征图，得到最终输出的特征图；

采用一种往前递进的方式反向融合五张特征图，具体为：在得到五张特征图后，采用以下公式从特征图F₅开始进行计算得到递进融合后的特征图最后得到递进融合后第1个小模块的特征图

其中，表示递进融合后第m个小模块的特征图，g(·)表示融合函数，由一个卷积层和一个激活层组成，{·,·}表示对两张特征图的级联操作；

最后以递进融合后第1个小模块的特征图作为彩色图像特征图F_rgb，获得的彩色图像特征图F_rgb再通过一个卷积层和一个归一化函数输出得到彩色信息预测的显著图P_rgb：

P_rgb＝h(W*F_rgb+b)

其中，*表示卷积操作，W和b分别表示卷积层中卷积核的权重和偏置，h(·)表示Sigmoid函数。