[发明专利]一种多模态对齐校准的RGB-D图像显著目标检测方法

权利要求书

1.本发明一种多模态对齐校准的RGB-D图像显著目标检测方法，其特征在于，所述方法包括以下步骤：

S1、从RGB-D图像中提取RGB特征和Depth特征；

S2、对RGB特征和Depth特征进行对齐校准，产生RGB修正特征和Depth修正特征；

S3、从Depth特征中提取边特征，产生边图；

S4、联合解码RGB修正特征、Depth修正特征、边特征产生显著图；

S5、利用显著图真值、边图真值监督所述边图、显著图，通过训练集的训练，形成RGB-D图像显著目标检测模型；

S6、利用所述RGB-D图像显著目标检测模型检测任意一张RGB-D图像，经过步骤S1-S4，输出显著图为检测结果。

2.根据权利要求1所述的一种多模态对齐校准的RGB-D图像显著目标检测方法，其特征在于，在所述步骤S1中，提取RGB特征和Depth特征的方法是分别使用两个在ImageNet上预训练的Swin Transformer神经网络模型提取RGB特征及Depth特征其中i表示层数，对应于Swin Transformer的层数，i取值为1至4的自然数。

3.根据权利要求1所述的一种多模态对齐校准的RGB-D图像显著目标检测方法，其特征在于，在所述步骤S2中，对RGB特征和Depth特征进行对齐校准，产生RGB修正特征和Depth修正特征，具体操作如下：

S2.1：将RGB特征和Depth特征进行逐元素相乘，再经过一个空间注意力操作，形成空间注意力权重，分别与RGB特征和Depth特征逐元素相乘，实现RGB特征和Depth特征的对齐，产生RGB对齐特征和Depth对齐特征，具体描述为：

所述表示第i层的RGB对齐特征和Depth对齐特征，SA(·)操作是指论文《BBS-Net:RGB-D salient object detection with a bifurcated backbone strategynetwork》中所提出的空间注意力模块，“×”是指逐元素相乘操作；

S2.2：将所述RGB对齐特征和Depth对齐特征进行通道注意力操作，形成通道注意力权重，分别与RGB特征和Depth特征逐元素相乘，形成RGB修正特征和Depth修正特征，具体描述为：

所述表示第i层的RGB修正特征和Depth修正特征，CA(·)操作是指论文《BBS-Net:RGB-D salient object detection with a bifurcated backbone strategynetwork》中所提出的通道注意力模块，“×”是指逐元素相乘操作。