[发明专利]一种适用于模态强弱变化的多模态目标检测方法及系统

权利要求书

1.一种适用于模态强弱变化的多模态目标检测方法，其特征在于：包括如下步骤：

S1、多模态信息的特征提取：选择大量的训练数据集，训练数据集中包含多种极端场景下的各个同一时空下不同维度的模态数据，针对不同维度的模态数据，利用对应的特征提取模块获得相应的模态特征张量；

S2、第一次模型训练：在稀疏编码的基础上，针对步骤S1中获得的不同维度的模态特征张量，取除通道外的模态特征张量的特征图尺度进行字典集训练，将字典集对应的字典集损失项纳入模型训练时的整体损失函数中，构建形成不考虑多模态数据间相互关系的第一融合检测网络模型，然后，对第一融合检测网络模型进行训练，第一融合检测网络模型训练完成后，即可同时得到不同维度模态数据对应的完善的字典集；

S3、第二次模型训练：利用得到的完善的字典集，计算不同维度模态数据对应的模态稀疏度，由模态稀疏度计算得出叠加系数分配比例，构建形成考虑多模态数据间相互关系的第二融合检测网络模型，然后，对第二融合检测网络模型进行训练，在训练过程的特征融合阶段，根据叠加系数分配比例，对待融合的相关特征的权重加以校正，直至第二融合检测网络模型训练完成；

S4、检测应用：将实际驾驶场景中同一时空下不同维度的模态数据进行步骤S1的特征提取操作，得到相应的实时模态特征张量，将实时模态特征张量输入训练完成的第二融合检测网络模型，对交通参与物进行预测，第二融合检测网络模型输出得到最终的目标检测效果；

其中，所述步骤S2中第一融合检测网络模型包括3D目标检测模型、SMOKE任务网络、VSA提取模块、特征融合模块、精修模块和整体损失函数，第一次模型训练的具体步骤为：

S21、定义字典集和构建字典集损失项：在得到不同维度的模态特征张量后，依据稀疏编码定义，针对不同维度的模态特征张量分别定义对应的字典集，依据对应模态特征张量的通道数，进行取均值，构建对应的字典集损失项；

S22、构建前景点损失项以及3D包围框损失项：根据3D目标检测模型输出得到的粗略的3D包围框和训练数据集中的真值标签，计算得出前景点损失项和3D包围框损失项；

S23、构建关键点损失项：根据SMOKE任务网络得到的目标的2D关键点和所属种类，得到关键点损失项；

S24、构建置信度损失项与修正损失项：根据精修模块得到的置信度预测结果和边框修正参数，得到置信度损失项与修正损失项；

S25、构建形成不考虑多模态数据间相互关系的第一融合检测网络模型：第一融合检测网络模型的整体损失函数包括前景点损失项、3D包围框损失项、关键点损失项、置信度损失项、修正损失项和字典集损失项；

S26、进行第一融合检测网络模型的训练：利用步骤S1提取获得的模态特征张量对第一融合检测网络模型进行训练，当整体损失函数达到最小时，第一融合检测网络模型训练完成；同时，字典集也训练完成，得到不同维度模态数据对应的完善的字典集；

其中，所述步骤S3中第二融合检测网络模型包括完善的字典集、3D目标检测模型、SMOKE任务网络、VSA提取模块、特征融合模块、Softmax函数、精修模块和整体损失函数，第二次模型训练的具体步骤为：

S31、利用得到的完善的字典集，计算不同维度模态数据对应的模态稀疏度，将不同维度模态数据对应的模态稀疏度组成一个向量，利用softmax函数将该向量映射到[0,1]空间，且和为1，得到不同维度模态数据对应的叠加系数分配比例；

S32、构建前景点损失项以及3D包围框损失项：与步骤S22相同；

S33、构建关键点损失项：与步骤S23相同；

S34、构建置信度损失项与修正损失项：与步骤S24相同；

S35、构建形成考虑多模态数据间相互关系的第二融合检测网络模型：第二融合检测网络模型的整体损失函数包括前景点损失项、3D包围框损失项、关键点损失项、置信度损失项和修正损失项；

S36、进行第二融合检测网络模型的训练：利用步骤S1提取获得的模态特征张量对第二融合检测网络模型进行训练，当整体损失函数达到最小时，第二融合检测网络模型训练完成。