[发明专利]一种基于深度学习的多源数据融合目标识别方法

权利要求书

1.一种基于深度学习的多源数据融合目标识别方法，其特征在于，包括：

步骤1，对待识别目标的多源数据进行数据预处理，获取待识别目标的复合图像；所述数据预处理的过程为：(1)对多源数据进行配准关联，进行配准关联后的多源数据包括：结构化数据和非结构化数据；所述结构化数据进行可视化转换为色块；所述非结构化数据进行可视化转换为图像；(2)将配准关联后的多源数据进行可视化转换为组合元素，将组合元素按一定的排列组合规则生成复合图像；

步骤2，将待识别目标的复合图像输入训练完成的深度神经网络模型进行识别；所述训练完成的深度神经网络模型为：深度神经网络采用训练目标的多源数据经数据预处理得到的复合图像进行训练得到的深度神经网络模型。

2.如权利要求1所述的基于深度学习的多源数据融合目标识别方法，其特征在于，所述对多源数据进行配准关联的方法包括：时间配准、空间配准和信息关联。

3.如权利要求1所述的基于深度学习的多源数据融合目标识别方法，其特征在于，所述结构化数据进行可视化转换为色块的方法包括：根据结构化数据的测量值和预设的测量范围，将其映射为具有一定灰度值的灰度色块或具有一定RGB值的彩色色块。

4.如权利要求1或3所述的基于深度学习的多源数据融合目标识别方法，其特征在于，所述色块的形状包括但不限于方形、矩形、圆形和三角形。

5.如权利要求1所述的基于深度学习的多源数据融合目标识别方法，其特征在于，所述非结构化数据进行可视化转换为图像：所述非结构化数据包括：图像、视频、音频和信号频谱；

对于图像和视频，无需进行可视化转换，仅进行尺寸缩放，保证其在复合图像中的尺寸固定；

对于音频和信号频谱，需通过一定的时域频域数据处理转化为波形图或频谱图，并且，对于音频和信号频谱的数据范围应保持一致，使其转换后的波形图或频谱图在复合图像中的尺寸固定。

6.如权利要求5所述的基于深度学习的多源数据融合目标识别方法，其特征在于，在对图像和视频进行尺寸缩放之前，进行一定的图像增强，包括翻转、裁剪和颜色变换。

7.如权利要求1所述的基于深度学习的多源数据融合目标识别方法，其特征在于，所述排列组合规则为：组合元素可以任意形式分布在复合图像任意位置，但需遵循构成复合图像的组合元素之间无遮挡、排布一致的原则。

8.如权利要求1所述的基于深度学习的多源数据融合目标识别方法，其特征在于，训练所述深度神经网络模型的方法为：

步骤2.1，将训练目标的多源数据经数据预处理得到的复合图像及其对应的标签作为训练数据集；

步骤2.2，利用训练数据集，采用迁移训练的方法对深度神经网络进行训练得到深度神经网络模型。

9.如权利要求8所述的基于深度学习的多源数据融合目标识别方法，其特征在于，步骤2.2中利用训练数据集，采用迁移训练的方法对初始深度神经网络进行训练时，需要根据训练数据集的大小选择训练策略；所述训练策略为：

(1)当训练数据集中的图像数据不到200张时，训练深度神经网络输出层的权重；

(2)当训练数据集中的图像数据为200～2000张时，训练深度神经网络输出层和部分隐藏层的权重；

(3)当训练数据集中的图像数据超过2000张时，训练深度神经网络输出层和全部隐藏层的权重。