[发明专利]多源感知数据融合识别方法、系统及计算机可读存储介质

说明书

本发明公开了一种多源感知数据融合识别方法、系统及计算机可读存储介质。该多源感知数据融合识别方法，首先获取环境的多源目标观测数据，然后根据观测数据构建多源目标观测数据集，最后以多源目标观测数据集为输入，采用多源感知数据融合识别模型识别待检测目标，以解决单一传感器获取环境信息较为局限、场景适应性差、受环境因素影响较大、鲁棒性不强以及识别性能较差等问题，进而有效提高信息的互补能力，达到提高检测融合系统检测弹性的目的。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种多源感知数据融合识别方法、系统及计算机可读存储介质。

背景技术

目标检测与识别是指基于单一或多种传感器的观测，来判定观测环境中是否含有预先定义的目标，并对存在的目标进行识别分类，并确定其空间位置和范围的过程。目标检测与识别作为计算机视觉和图像理解的基础，具有十分重要的意义，支撑着计算机视觉领域中更复杂、更高级的任务，如场景理解、目标追踪、事件检测等。

复杂场景中最为常见的目标观测手段为可见光图像，其具有近距离检测性能优越、可提取目标信息以及特征等优点，但易受光照灵敏度、图像噪声等影响。基于单一可见光图像的目标检测往往受限于观测条件、传感器性能、目标特性等多种因素。

因此，迫切需要一种有效、可行的多源感知数据融合识别方法，从不同角度、不同方面对相关数据进行互补采集，以突破单一传感器的自身缺陷，有效提高信息的互补能力，达到提高检测融合系统检测弹性的目的。

发明内容

本发明的目的是提供一种多源感知数据融合识别方法、系统及计算机可读存储介质，从不同角度、不同方面对相关数据进行互补采集，以突破单一传感器的自身缺陷，进而有效提高信息的互补能力，达到提高检测融合系统检测弹性的目的。

为实现上述目的，本发明提供了如下方案：

一种多源感知数据融合识别方法，包括：

获取环境的观测数据；所述观测数据包括：可见光数据、红外数据和激光雷达点云数据；

根据所述观测数据构建第一多源目标多视图数据集；所述第一多源目标多视图数据集包括：BEV图、RGB图和红外图；

获取多源感知数据融合识别模型；

以所述多源目标多视图数据集为输入，采用所述多源感知数据融合识别模型识别待检测目标。

优选地，所述多源感知数据融合识别模型的构建过程，具体包括：

获取目标的观测数据，所述目标的观测数据包括：目标的可见光点数据、目标的红外数据和目标的激光雷达点云数据；

根据所述目标的观测数据构建第二多源目标多视图数据集；所述第二多源目标多视图数据集包括：BEV图、RGB图和红外图；

提取所述第二多源目标多视图数据集的特征和感兴趣区域；

获取特征融合模型；所述特征融合模型为基于深度学习的目标多特征融合方法确定的模型；

采用所述特征融合模型，根据所述第二多源目标多视图数据集的特征和感兴趣区域得到融合结果；

获取多视图目标分类器模型；所述多视图目标分类器模型的初始结构为ResNet-50网络结构；

采用所述融合结果对所述多视图目标分类器模型进行训练，得到多源感知数据融合识别模型。

优选地，所述采用所述特征融合模型，根据所述第二多源目标多视图数据集的特征和感兴趣区域得到融合结果，具体包括：

获取所述第二多源目标观测数据集中各图像的LiDAR点的特征；

按照深度分别对所述LiDAR点的特征进行连接；