[发明专利]一种基于多模态联合学习的跨域点云语义分割方法

说明书

本发明提供一种基于多模态联合学习的跨域点云语义分割方法，属于计算机视觉技术领域，按步骤将源域的2D图像和3D点云分别送至2D和3D神经网络中提取特征，再将源域2D特征与3D特征送入跨模态特征互学习模块，将目标域的2D图像和3D点云分别送至2D和3D神经网络中提取特征；将目标域2D特征与3D特征送入跨模态特征互学习模块；将源域的输出特征送入分类器，并将分类结果与标签值计算损失，最后依据损失值训练网络；保存训练模型，即可得应用于目标域场景进行语义分割，本发明利用多模态数据集之间的联合学习，同时设计“稀疏到稠密”的特征匹配结构，实现两种异构特征之间充分的信息交换，以提升网络的跨域分割性能。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于多模态联合学习的跨域点云语义分割方法。

背景技术

跨域语义分割是指计算机通过对源域语义知识的总结提炼来实现对目标域的可视化分割。近些年来，随着人工智能的不断发展，基于深度学习的语义分割技术开始广泛应用到卫星遥感、辅助医疗和交通运输等各个方面，其中，无人驾驶是一个热门研究方向，也是未来车辆发展的必然趋势。作为无人车驾驶的核心算法技术，语义分割可以将车载摄像头，或者激光雷达获取的图像进行分割归类，以帮助车辆自动避让行人和车辆等障碍。随着深度学习的发展，基于卷积神经网络的语义分割性能趋于完善，但是由于训练图像(源域)和应用的图像(目标域)的数据分布不一致，导致训练数据集上表现优异的模型在其他场景中应用时效能并不理想。对此，科研人员提出了大量基于深度学习的人工智能方法，来应对跨域后语义分割的效能衰减问题，然而现有的方法都是建立在单一模态下，没有考虑到利用多模态之间的互补性。并且，由于传感器成本的降低，目前自动驾驶数据集例如nuScenes，A2D2，Semantic KITTI都是2D数据(RGB图像)和3D数据(Lidar点云)同时采集。

发明内容

本发明的主要目的在于提供一种基于多模态联合学习的跨域点云语义分割方法，利用多模态数据(2D和3D)之间的互补性，通过联合学习使得深度学习模型具有可观的跨域分割性能，可以有效解决背景技术中提到的问题。

为实现上述目的，本发明采取的技术方案为：

一种基于多模态联合学习的跨域点云语义分割方法，该方法主要包括以下步骤：

S1、将源域的2D图像和3D点云分别送至2D和3D神经网络中提取特征，在输出层分别得到稠密的2D特征图和稀疏的3D特征向量；

S2、将源域2D特征与3D特征送入跨模态特征互学习模块，进行“稀疏到稠密”的动态特征匹配及信息交换；

S3、将目标域的2D图像和3D点云分别送至2D和3D神经网络中提取特征，在输出层分别得到稠密的2D特征图和稀疏的3D特征向量；

S4、将目标域2D特征与3D特征送入跨模态特征互学习模块，进行“稀疏到稠密”的动态特征匹配及信息交换；

S5、将源域的输出特征送入分类器，并将分类结果与标签值计算损失，最后依据损失值训练网络；

S6、保存训练模型，即可得应用于目标域场景进行语义分割。

优选的，所述S2和S4中需要借助3D点云到2D图像的映射坐标完成特征的匹配。

优选的，所述S1和S3中，网络模型为深度卷积神经网络U-net(Resnet34)作为2D网络，SparseConvNet作为3D网络，源域和目标域的网络是共享参数的。

与现有技术相比，本发明具有如下有益效果：

1.鲁棒性好，模型可以充分利用多模态之间的故互补性来保证跨域分割的稳定性能；比如有些场景3DLidar点云跨域表现好，而有些场景RGB图像表现好，在利用多模态特征联合学习后，可以普遍适用于多种真实场景。