[发明专利]一种基于多模态自适应卷积的RGB-D图像语义分割方法

权利要求书

1.一种基于多模态自适应卷积的RGB-D图像语义分割方法，其特征在于，包括：

(1)编码模块分别提取RGB图像的RGB特征F^rgb和深度图像的深度特征F^depth，其中，所述的RGB图和深度图是相同场景的成对图像；

(2)将RGB特征F^rgb和深度特征F^depth送入融合模块进行多模态特征融合，得到融合特征F^last，具体包括：

首先将RGB特征和深度特征输入多模态自适应卷积生成模块生成两个不同尺度的多模态自适应卷积核；

然后，将RGB特征F^rgb、深度特征F^depth、以及两个多模态自适应卷积核输入多模态特征融合模块得到自适应卷积融合特征F^fusion；

最后将RGB特征F^rgb、深度特征F^depth与F^fusion在通道维度进行拼接，得到最终融合特征F^last；

(3)解码模块用于对自适应卷积融合特征进行上采样恢复图像分辨率，得到语义分割概率图：首先使用卷积对最终的融合特征F^last进行降维，然后使用转置卷积逐步上采样恢复尺寸，最后使用卷积和Softmax操作得到语义分割概率图；

(4)训练阶段使用反向传播训练此算法，得到最终的语义分割网络模型；

(5)测试阶段输入新的图像，在已训练好的模型中前向传播输出语义分割结果。

2.根据权利要求1所述的一种基于多模态自适应卷积的RGB-D图像语义分割方法，其特征在于，所述的编码模块由两个结构相同的编码分支构成，一个编码分支提取RGB图的RGB特征，另一个编码分支提取深度图的深度特征；

3.根据权利要求2所述的一种基于多模态自适应卷积的RGB-D图像语义分割方法，其特征在于，所述的编码分支优选改进的ResNet50分类网络，改进具体指，去除ResNet50分类网络最后的池化层和所有全连接层。

4.如权利要求1所述的一种基于多模态自适应卷积的RGB-D图像的语义分割方法，其特征在于，所述的多模态自适应卷积生成模块包括：

首先将编码模块提取的大小为H×W×C的RGB特征F^rgb，以及大小为H×W×C的深度特征F^depth在通道维度进行拼接，得到大小为H×W×2C的拼接特征F^concat；

然后分别使用两个不同尺度的自适应平均池化操作对拼接特征进行池化，得到两个不同尺度的池化特征；

使用1×1卷积操作分别对两个尺度的池化特征进行卷积，将其在通道维度降维，得到两个不同尺度的多模态自适应卷积核。

5.如权利要求1所述的一种基于多模态自适应卷积的RGB-D图像的语义分割方法，其特征在于，

所述的多模态特征融合模块具体如下：

输入为RGB特征F^rgb、深度特征F^depth，和两个尺度的多模态自适应卷积核；

首先分别使用1×1卷积操作将原始的RGB特征F^rgb和深度特征F^depth的通道个数减少为原来的四分之一，得到降维后的RGB特征和深度特征

然后，将降维后的RGB特征分别与两个尺度的自适应卷积核进行深度分离卷积运算，将降维后的深度特征分别与两个尺度的自适应卷积核进行深度分离卷积运算，共得到4个自适应卷积特征；

最后，将4个自适应卷积特征在通道维度拼接，并使用1×1卷积整合通道维度的信息，得到自适应卷积融合特征F^fusion。