[发明专利]基于跨模态交流编码器的RGBD显著性物体检测方法及系统

权利要求书

1.一种基于跨模态交流编码器的RGBD显著性物体检测方法，其特征在于，包括：

步骤1，获取待检测图片的RGB图片与深度图；

步骤2，将所述RGB图片与深度图输入至预先训练好的显著性物体检测模型中，得到RGBD显著性物体检测结果；

其中，所述显著性物体检测模型包括：跨模态双向交流编码器以及分组融合解码器；所述跨模态双向交流编码器包括：平行的RGB子网络与深度图子网络，以及按层级插入在所述RGB子网络与所述深度图子网络之中的多个跨模态双向交流模块；

所述跨模态双向交流模块用于接收所述RGB子网络与所述深度图子网络第i层输出的特征向量，并对接收到的特征向量进行跨模态交流得到层次化特征；以及，输出所述层次化特征至所述RGB子网络与所述深度图子网络的第i+1层；并输出所述层次化特征至所述分组融合解码器，以使所述分组融合解码器根据接收到的层次化特征进行解码得到RGBD显著性物体检测结果；

其中，i＝0、1...n；n为所述RGB子网络与深度图子网络的网络层级数。

2.如权利要求1所述的方法，其特征在于，所述跨模态双向交流模块通过以下步骤对接收到的特征向量进行跨模态交流，包括：

步骤201，接收所述RGB子网络与所述深度图子网络第i层输出的特征向量，根据接收到的特征向量使用空间注意力机制产生一组注意力图；

步骤202，利用跨模态交流公式根据所述特征向量以及注意力图生成跨模态交流特征；

步骤203，通过通道注意力机制对所述跨模态交流特征进行通道维度的加权，得到所述层次化特征。

3.如权利要求2所述的方法，其特征在于，所述步骤202中的跨模态交流公式为：

cf_rⁱ＝bf_rⁱ×(SA_dⁱ+SA_rⁱ×SA_dⁱ)

cf_dⁱ＝bf_dⁱ×(SA_rⁱ+SA_rⁱ×SA_dⁱ)

其中，bf_rⁱ为所述RGB子网络第i层输出的特征向量；bf_dⁱ为所述深度图子网络第i层输出的特征向量；SA_rⁱ为跨模态双向交流模块根据bf_rⁱ生成的注意力图；SA_dⁱ为跨模态双向交流模块根据bf_dⁱ生成的注意力图；cf_rⁱ、cf_dⁱ为跨模态交流特征。

4.如权利要求1-3任一所述的方法，其特征在于，所述分组融合解码器通过以下步骤对多个所述跨模态双向交流模块输出的层次化特征进行解码、得到RGBD显著性物体检测结果，包括：

步骤301，对多个所述跨模态双向交流模块输出的多个层次化特征进行特征转换，统一多个所述层次化特征的通道维度；

步骤302，对多个所述层次化特征进行分组融合，得到第一融合特征以及第二融合特征；

步骤303，对所述第一融合特征以及第二融合特征进行跨模态融合，得到跨模态融合特征，根据所述跨模态融合特征生成显著性检测图。