[发明专利]一种多模态对齐校准的RGB-D图像显著目标检测方法

说明书

本发明公开了一种多模态对齐校准的RGB‑D图像显著目标检测方法，包括以下步骤：从RGB‑D图像中提取RGB特征和Depth特征；对RGB特征和Depth特征进行对齐校准，产生RGB修正特征和Depth修正特征；从Depth特征中提取边特征，产生边图；联合解码RGB修正特征、Depth修正特征、边特征产生显著图；利用显著图真值、边图真值监督所述边图、显著图，通过训练集的训练，形成RGB‑D图像显著目标检测模型；利用所述RGB‑D图像显著目标检测模型检测任意一张RGB‑D图像，输出显著图为检测结果。所述方法通过对颜色特征和深度特征进行对齐校准减少两种模态之间的差异，实现有效融合，提高检测精度。

技术领域

本发明涉及计算机视觉领域，特别是涉及一种多模态对齐校准的RGB-D图像显著目标检测方法。

背景技术

RGB-D图像是由RGB颜色图像和Depth深度图像组成，这两种图像对应于同一场景的不同模态，颜色模态更强调外观信息，深度模态更强调几何信息。RGB-D图像显著目标检测的核心就是要有效融合这两种模态信息，减少二者之间的差异，最大化它们的共同点，为显著目标的解码阶段提供更好的特征。

发明内容

本发明所需要解决的技术问题是提供一种多模态对齐校准的RGB-D图像显著目标检测方法，对提取的RGB颜色特征和Depth深度特征，通过通道注意力和空间注意力进行对齐校准，促进不同模态之间的融合，以提高检测性能。

本发明具体采用的技术方案如下：

一种多模态对齐校准的RGB-D图像显著目标检测方法，该方法包括以下步骤：

S1、从RGB-D图像中提取RGB特征和Depth特征；

S2、对RGB特征和Depth特征进行对齐校准，产生RGB修正特征和Depth修正特征；

S3、从Depth特征中提取边特征，产生边图；

S4、联合解码RGB修正特征、Depth修正特征、边特征产生显著图；

S5、利用显著图真值、边图真值监督所述边图、显著图，通过训练集的训练，形成RGB-D图像显著目标检测模型；

S6、利用所述RGB-D图像显著目标检测模型检测任意一张RGB-D图像，经过步骤S1-S4，输出显著图为检测结果。

进一步地，在所述步骤S1中，提取RGB特征和Depth特征的方法是分别使用两个在ImageNet上预训练的Swin Transformer神经网络模型提取RGB特征及Depth特征其中i表示层数，对应于Swin Transformer的层数，i取值为1至4的自然数。

进一步地，在所述步骤S2中，对RGB特征和Depth特征进行对齐校准，产生RGB修正特征和Depth修正特征，具体操作如下：

S2.1：将RGB特征和Depth特征进行逐元素相乘，再经过一个空间注意力操作，形成空间注意力权重，分别与RGB特征和Depth特征逐元素相乘，实现RGB特征和Depth特征的对齐，产生RGB对齐特征和Depth对齐特征，具体描述为：

所述表示第i层的RGB对齐特征和Depth对齐特征，SA(·)操作是指论文《BBS-Net:RGB-D salient object detection with a bifurcated backbonestrategy network》中所提出的空间注意力模块，“×”是指逐元素相乘操作；

S2.2：将所述RGB对齐特征和Depth对齐特征进行通道注意力操作，形成通道注意力权重，分别与RGB特征和Depth特征逐元素相乘，形成RGB修正特征和Depth修正特征，具体描述为：