[发明专利]一种智能驾驶多任务学习模型构建方法、设备及介质

说明书

本发明公开了一种智能驾驶多任务学习模型构建方法、设备及介质，属于智能驾驶技术领域，用于解决现有的智能驾驶任务模型的构建方法不能有效利用多模态数据，不利于模型的快速迭代的技术问题。方法包括：通过数据采集设备，采集智能驾驶车辆行驶过程中产生的多模态数据；对多模态数据中的每种模态数据分别进行预处理；通过模态数据编码器，对预处理后的每种模态数据进行特征编码，分别得到对应的特异性特征；对每种模态数据对应的特异性特征进行融合，得到融合特征向量；根据多个预设学习任务，构建对应的多个解码输出头，并根据多个解码输出头构建多任务学习模型；通过融合特征向量对多任务学习模型进行优化训练，得到智能驾驶多任务学习模型。

技术领域

本申请涉及智能驾驶领域，尤其涉及一种智能驾驶多任务学习模型构建方法、设备及介质。

背景技术

快速的城市化带来了城市人口的增长，带来了重大的流动性和可持续性挑战。在多个智慧场景的建设中，智慧交通系统已经成为一个活跃的研究领域，因为它有提高系统效率和决策的潜力。智能驾驶技术因其感知设备丰富、感知数据模态多样、感知数据量大且任务输出复杂，采取各模态数据单独训练相应任务模型后对各自结果进行融合是现阶段通常使用的方法。

然而，这种方法不能有效地综合利用同一时间维度的多模态数据，并且在加入新的模态数据或需要新的任务输出时，往往需要重新设计模型结构，这对智能驾驶软件模型的快速迭代无疑是不利的。降低了智能驾驶软件的可靠性与高效性。

发明内容

本申请实施例提供了一种智能驾驶多任务学习模型构建方法、设备及介质，用于解决如下技术问题：现有的智能驾驶任务模型的构建方法不能有效利用多模态数据，不利于模型的快速迭代。

本申请实施例采用下述技术方案：

一方面，本申请实施例提供了一种智能驾驶多任务学习模型构建方法，方法包括：通过智能驾驶车辆上安装的数据采集设备，采集所述智能驾驶车辆行驶过程中产生的多模态数据；其中，所述多模态数据至少包括以下模态数据：图像数据以及点云数据；对所述多模态数据中的每种模态数据分别进行预处理；通过模态数据编码器，对预处理后的每种模态数据进行特征编码，分别得到对应的特异性特征；对每种模态数据对应的特异性特征进行融合，得到融合特征向量；根据多个预设学习任务，构建对应的多个解码输出头，并根据所述多个解码输出头构建多任务学习模型；通过所述融合特征向量对所述多任务学习模型进行优化训练，得到智能驾驶多任务学习模型。

在一种可行的实施方式中，所述数据采集设备包括相机设备以及雷达设备；所述通过智能驾驶车辆上安装的数据采集设备，采集所述智能驾驶车辆行驶过程中产生的多模态数据，具体包括：通过所述相机设备，采集所述智能驾驶车辆行驶过程中的视频数据，并在所述视频数据中，每秒截取若干帧图片，得到所述图像数据；其中，所述相机设备至少包括以下任一种：单目RGB相机、双目RGB相机、深度相机；通过所述雷达设备，采集所述智能驾驶车辆行驶过程中的点云数据；其中，所述雷达设备至少包括以下任一种：激光雷达、毫米波雷达。

在一种可行的实施方式中，对所述多模态数据中的每种模态数据分别进行预处理，具体包括：对所述图像数据进行图像噪声去除处理，并对所述图像数据中的图像参数进行数据增强；其中，所述图像参数至少包括图像对比度以及图像亮度；将所述点云数据中的的不成群噪声点、与地面混合在一起的噪声点进行去除处理；并对去噪后的点云数据进行畸变去除处理。

在一种可行的实施方式中，对每种模态数据对应的特异性特征进行融合，得到融合特征向量，具体包括：将所述每种模态数据对应的特异性特征输入到多层感知器MLP中，得到被查向量以及内容向量；将隐空间向量输入到所述多层感知器MLP中，得到查询向量；通过交叉注意力模块，将所述被查向量、所述内容向量以及所述查询向量进行融合，以将所述特异性特征转换到隐空间内，得到所述融合特征向量；其中，所述融合特征向量的长度与所述隐空间向量的长度相同。