[发明专利]一种RGB-D图像显著性目标获取的方法

权利要求书

1.一种RGB-D图像显著性目标获取的方法，其特征在于，包括：

基于输入的RGB-D图像，通过交织融合网络中的RGB分支、深度分支分别提取RGB图像和深度图像的跨模态特征；

基于RGB图像和深度图像的跨模态特征，通过交织融合网络中的融合分支由深到浅的逐步整合来自同一级的跨模态特征，得到具有判别力的显著性特征；

基于显著性特征，通过损失函数进行显著性预测，得到显著性结果图。

2.根据权利要求1所述的方法，其特征在于，所述的基于输入的RGB-D图像，通过交织融合网络中的RGB分支和深度分支分别提取RGB图像和深度图像的跨模态特征包括：

基于RGB-D图像的RGB图像，通过交织融合网络的RGB分支进行特征提取，获得深度引导的RGB-D特征；

基于RGB-D图像的深度图像，通过交织融合网络的深度分支进行特征提取，获得RGB引导的RGB-D特征；

该两个子步骤同时执行；RGB分支和深度分支都分别包括多个特征适配层用于跨模态特征转换；RGB分支还用于引导深度分支进行特征提取，深度分支还用于引导RGB分支进行特征提取。

3.根据权利要求2所述的方法，其特征在于，所述的基于输入的RGB-D图像，通过交织融合网络中的RGB分支、深度分支分别提取RGB图像和深度图像的跨模态特征还包括：

基于RGB-D图像，分别通过和

(2)进行特征提取，获得跨模态特征，式中，表示当前RGB特征f_rgb和来自深度分支的引导特征g_d(f_d)的级联特征，g_d表示深度分支的特征适配层，f_d表示同一级的对应深度特征，表示当前深度特征f_d和来自RGB分支的引导特征g_rgb(f_rgb)的级联特征，g_rgb表示RGB分支的特征适配层，f_rgb表示同一级上的对应RGB特征，{·,·}表示特征级联操作。

4.根据权利要求1所述的方法，其特征在于，所述的基于RGB图像和深度图像的跨模态特征，通过交织融合网络中的融合分支由深到浅的逐步整合来自同一级的跨模态特征，得到具有判别力的显著性特征级包括：

基于跨模态特征，由深到浅地逐步整合来自同一级的跨模态特征，并通过深度监督方法产生三组侧输出；

基于侧输出，通过块内残差注意力模块并根据跨模态特征中各区域的重要程度，对跨模态特征中各区域进行加权。

5.根据权利要求4所述的方法，其特征在于，所述的基于侧输出，通过块内残差注意力模块并根据跨模态特征中各区域的重要程度，对跨模态特征中各区域进行加权包括：

通过块内残差注意力模块，对同一级跨模态特征的浅层特征进行加权，使跨模态特征中各区域具有相适应的权重。

6.根据权利要求5所述的方法，其特征在于，块内残差注意力模块表示为式中，f_inbRAM表示经过块内残差注意力模块后的特征，f表示一组输入特征，W_sp表示同一级的侧输出，和分别表示逐像素相加和相乘操作。

7.根据权利要求4所述的方法，其特征在于，所述的基于显著性特征，通过损失函数，进行显著性预测，得到显著性结果图包括：

通过损失函数，对交织融合网络进行约束训练；

该损失函数由交叉熵损失项和对抗损失项生成；

该交叉熵损失项表示为(4)，式中，φ表示网络需要学习的参数，Y₊和Y_表示显著性真图Y中的正样本和负样本像素X表示给定的RGB-D图像，P(·)表示像素的显著性置信值，*＝{f,s1,s2,s3}分别对应最终输出和侧输出；

该对抗损失项表示为式中，G表示生成器，D表示鉴别器，I表示输入；

损失函数表示为：

式中，和分别表示最终输出和侧输出的标准交叉熵损失项，表示对抗损失项，λ用于控制对抗损失项比例。