[发明专利]一种基于多模态联合学习的跨域点云语义分割方法

权利要求书

1.一种基于多模态联合学习的跨域点云语义分割方法，其特征在于：该方法主要包括以下步骤：

S1、将源域的2D图像和3D点云分别送至2D和3D神经网络中提取特征，在输出层分别得到稠密的2D特征图和稀疏的3D特征向量；

S2、将源域2D特征与3D特征送入跨模态特征互学习模块，进行“稀疏到稠密”的动态特征匹配及信息交换；

S3、将目标域的2D图像和3D点云分别送至2D和3D神经网络中提取特征，在输出层分别得到稠密的2D特征图和稀疏的3D特征向量；

S4、将目标域2D特征与3D特征送入跨模态特征互学习模块，进行“稀疏到稠密”的动态特征匹配及信息交换；

S5、将源域的输出特征送入分类器，并将分类结果与标签值计算损失，最后依据损失值训练网络；

S6、保存训练模型，即可得应用于目标域场景进行语义分割；

S2和S4中需要借助3D点云到2D图像的映射坐标完成特征的匹配；

S2和S4中首先对稠密的2D特征进行卷积，获得池化时每个特征元素对应的池化kernel的偏移量：

特征P_2D的池化偏移O＝f_3×3(P_2D),O∈H×W×2N(1)

其中，O是偏移图，O_i,j代表第i行第j列的元素，长度为2N；N为kernel包含的元素个数；2N代表kernel内每个元素的x和y方向偏移量；

S2和S4中对获得了偏移后的2D特征图按照偏移进行可变最大池化和最小池化，获得每个池化区域的上确界a和下确界b:

max和min是对集合当中元素取最大值和最小值，池化后的特征图尺寸仍为H×W×F，F为特征图的通道数量，每个元素都是通过原特征图上进行了可变池化后获得的，之后按照3D点云到2D图像的映射坐标在池化后的特征图上进行采样，得到与3D点云相同特征数量的稀疏特征图；

S2和S4中对采样后的2D特征与3D特征进行约束，实现多模态联合学习：

联合学习损失L_std＝KL(Samp(a(P_2D)),P_3D)+KL(Samp(b(P_2D)),P_3D) (4)

其中，a(·)，b(·)分别代表可变池化后的上确界特征图和下确界特征图，Samp(·)代表采样，KL(·,·)为计算两特征之间的KL散度。

2.根据权利要求1所述的一种基于多模态联合学习的跨域点云语义分割方法，其特征在于：所述S1和S3中，网络模型为深度卷积神经网络Resnet34作为2D网络，SparseConvNet作为3D网络，源域和目标域的网络是共享参数的。