[发明专利]一种对图像进行语义分割的方法及系统

权利要求书

1.一种对图像进行语义分割的方法，其特征在于，包括如下步骤：

确定样本图像；所述样本图像包括多组图像，每组图像包括一个彩色图像和一个深度图像，且每组图像中的彩色图像和深度图像均对同一成像区域分别彩色图成像和深度图成像得到；不同组图像可以对不同成像区域成像得到；

提取每组图像中彩色图像的视觉特征和深度图像的深度特征，将每组图像提取的视觉特征和深度特征组合成一组特征，得到多组特征；

基于所述多组特征对语义分割模型进行训练；所述语义分割模型包括编码模块和解码模块；其中，编码模块将每组特征输入深度信息引导的特征选择模块DFS，融合得到一组多模特征，通过通道注意力机制CA对各组多模特征进行筛选，并将筛选后的多模特征输入深度选择模块DS学习各个深度特征对应的权重矩阵，基于权重矩阵和相应深度特征筛选出相应的关键深度特征，并将关键深度特征与各组图像提取的视觉特征组合得到各组含有关键深度信息的多模特征；以及基于各组视觉特征和各组含有关键深度信息的多模特征构建深度信息嵌入的可变形卷积模块DDC，以对多模特征进行卷积运算学习每组图像对应的各个采样点的位置偏移，结合关键深度信息基于采样点对应的物体形状确定各个采样点的位置，并对采样点进行卷积运算提取相关的语义特征，并将语义特征与含有关键深度信息的多模特征融合，得到融合后的语义特征；解码模块基于融合后的语义特征对每组图像中的彩色图像进行语义分割；所述语义分割指的是为图像中每个像素点对应物体的类别打标签；

将待语义分割图像输入到训练好的语义分割模型，以得到待语义分割图像的分割结果；所述待语义分割图像包括彩色图像和对应的深度图像。

2.根据权利要求1所述的方法，其特征在于，所述深度信息引导的特征选择模块DFS包括：融合单元、CA以及DS；

所述融合单元将每组特征中的深度特征与视觉特征连接在一起，公式如下：

其中，表示输入的视觉特征，表示输入的深度特征，表示连接后的特征，H×W表示特征图的高度和宽度，C表示特征图的通道数；特征图指的是彩色图像特征或者深度图像特征；

所述CA将连接后的特征沿着通道的维度作均值池化操作，公式如下：

其中，表示均值池化的输出结果，rd(i，j)表示特征图中每个像素的值，i表示特征图中每个像素的横坐标，j表示特征图中每个像素的纵坐标；将均值池化后的特征经过第一个全连接层、Relu激活函数、第二个全连接层以及Sigmoid函数进一步提取特征，之后与连接后的特征点乘，得到通道注意力机制运算后的结果，公式如下：

其中，表示经过CA运算后的输出结果，作为筛选后的多模特征，fc1表示第一个全连接函数，R表示Relu激活函数，fc2表示第二个全连接函数，σ表示Sigmoid函数；

所述CA将筛选后的多模特征输入到DS；

所述DS先通过3×3的卷积进一步提取特征，同时降低特征的维度，减少参数的数量，之后经过第一个1×1的卷积运算与Relu激活函数得到通道数为1的目标矩阵，接着再经过第二个1×1的卷积运算进行调整，调整后的目标矩阵通过Sigmoid函数生成深度特征对应的权重矩阵γ^H×W，公式如下：

其中，f₁表示第一个1×1的卷积函数，f_3×3表示3×3的卷积函数，f₂表示第二个1×1的卷积函数；

将得到的权重矩阵与相应深度特征点乘得到公式如下：

表示筛选出来的关键深度特征；

将关键深度特征与各组图像提取的视觉特征组合得到各组含有关键深度信息的多模特征RD^H×W×C，公式如下：