[发明专利]多源感知数据融合识别方法、系统及计算机可读存储介质

权利要求书

1.一种多源感知数据融合识别方法，其特征在于，包括：

获取环境的观测数据；所述环境的观测数据包括：环境的可见光数据、环境的红外数据和环境的激光雷达点云数据；

根据所述环境的观测数据构建第一多源目标多视图数据集；所述第一多源目标多视图数据集包括：BEV图、RGB图和红外图；

获取多源感知数据融合识别模型；

以所述第一多源目标多视图数据集为输入，采用所述多源感知数据融合识别模型识别待检测目标；

所述多源感知数据融合识别模型的构建过程，具体包括：

获取目标的观测数据；所述目标的观测数据包括：目标的可见光点数据、红外数据和激光雷达点云数据；

根据所述目标的观测数据构建第二多源目标多视图数据集；所述第二多源目标多视图数据集包括：BEV图、RGB图和红外图；

提取所述第二多源目标多视图数据集的特征和感兴趣区域；

获取特征融合模型；所述特征融合模型为基于深度学习的目标多特征融合方法确定的模型；

采用所述特征融合模型，根据所述第二多源目标多视图数据集的特征和感兴趣区域得到融合结果；

获取多视图目标分类器模型；所述多视图目标分类器模型的初始结构为ResNet-50网络结构；

采用所述融合结果对所述多视图目标分类器模型进行训练，得到多源感知数据融合识别模型；

所述采用所述特征融合模型，根据所述第二多源目标多视图数据集的特征和感兴趣区域得到融合结果，具体包括：

获取所述第二多源目标多视图数据集中各图像的LiDAR点的特征；

按照深度分别对所述LiDAR点的特征进行连接；

对相同深度中的每一切片做1×1卷积操作，得到融合结果；

所述获取所述第二多源目标多视图数据集中各图像的LiDAR点的特征，具体包括：

在所述第二多源目标多视图数据集中的BEV图上，采用k最邻近算法确定LiDAR点；

根据所述LiDAR点，将所述第二多源目标多视图数据集中的BEV图反投影到3D空间中，得到3D投影图像；

将所述3D投影图像进行投影，得到平面图像；

获取平面图像上像素和每一所述LiDAR点的偏置；

获取多层感知器，并根据所述偏置确定LiDAR点的特征；

采用所述融合结果对所述多视图目标分类器模型进行训练，得到多源感知数据融合识别模型，具体包括：

获取初始多视图目标分类器；

利用图像的类别标签，根据所述融合结果训练所述初始多视图目标分类器，得到与所述初始多视图目标分类器对应的多视图目标分类器模型后，以所述多视图目标分类器模型计算初始伪标签，利用affinity net的方式对所述初始伪标签进行优化，得到优化后的伪标签结果；

基于所述伪标签结果确定多视图目标分类器模型中每一输出的Loss值；所述Loss值包括：位置Loss值和与该位置相对应的目标类别loss值；

在设定计算周期内，基于最大的Loss值更新所述多视图目标分类器模型的参数，得到多源感知数据融合识别模型。

2.一种多源感知数据融合识别系统，其特征在于，用于实现如权利要求1所述的一种多源感知数据融合识别方法，包括：

观测数据获取模块，用于获取环境的观测数据；所述环境的观测数据包括：环境的可见光数据、环境的红外数据和环境的激光雷达点云数据；

第一多源目标多视图数据集构建模块，用于根据所述环境的观测数据构建第一多源目标多视图数据集；所述第一多源目标多视图数据集包括：BEV图、RGB图和红外图；

多源感知数据融合识别模型获取模块，用于获取多源感知数据融合识别模型；

目标检测模块，用于以所述第一多源目标多视图数据集为输入，采用所述多源感知数据融合识别模型识别待检测目标。