[发明专利]一种特征自适应互引导的多源信息融合分类方法及系统

说明书

本发明公开了一种特征自适应互引导的多源信息融合分类方法及系统，该方法包括：获取高光谱图像和激光雷达图像数据集并进行数据预处理，得到训练集；基于训练集对预设的特征自适应互引导的多源信息融合网络进行训练，得到训练完备的特征自适应互引导的多源信息融合网络；获取待测图像并基于训练完备的特征自适应互引导的多源信息融合网络对待测图像进行分类，得到图像分类结果。该系统包括：预处理部分、网络训练部分和任务分类部分。通过使用本发明，可以充分挖掘不同信息源数据的特征互补性，兼容多种数据源类型的特征数据融合，具有较强的实际应用价值。本发明可广泛应用于多源信息分类领域。

技术领域

本发明涉及多源信息融合分类领域，尤其涉及一种特征自适应互引导的多源信息融合分类方法及系统。

背景技术

目前，基于多源融合数据特征提取的方法的研究得到了研究者们广泛关注。主流的机器学习多源数据特征提取方法包括多内核学习方法、基于降维的模型、子空间关联算法等，但上述方法高度基于手工特征标注的质量，限制复杂场景的应用。基于深度学习的方法可以从原始数据中自主学习语义特征，但是该类方法普遍采用不同的网络结构独立地对不同数据源的信息进行特征提取，然后将特征集中再进行分类，例如基于深度残差网络的融合结构、无监督特征提取的块到块的卷积神经网络结构等。综上，现存方法存在以下缺点：缺乏关注高光谱通道的特异性以及高光谱和激光雷达数据的空间信息互补性。其次，特征级融合网络通常独立提取多资源的空间特征，往往忽略特征不同空间表达之间的互补关系。再次，深度网络生成从低到高的分层语义特征；然而这些分层特征通常与简单且固定的逐元素添加或连接策略相结合。此外，同一级别的多模态特征几乎没有相互作用和指导，限制了它们的语义相关性。

发明内容

本发明的目的是提供一种特征自适应互引导的多源信息融合分类方法及系统，以解决空间结构特征复杂的多源融合数据集分类精度不准确的问题。

本发明所采用的第一技术方案是：一种特征自适应互引导的多源信息融合分类方法，包括以下步骤：

获取高光谱图像和激光雷达图像数据集并进行数据预处理，得到训练集；

基于训练集对预设的特征自适应互引导的多源信息融合网络进行训练，得到训练完备的特征自适应互引导的多源信息融合网络；

所述特征自适应互引导的多源信息融合网络包括光谱-空间特征学习模块、光谱-空间互相引导模块和多模态数据融合分类模块；

获取待测图像并基于训练完备的特征自适应互引导的多源信息融合网络对待测图像进行分类，得到图像分类结果。

进一步，所述获取高光谱图像和激光雷达图像数据集并进行数据预处理，得到训练集这一步骤，其具体包括：

获取覆盖地球表面相同区域的高光谱图像及其对应的激光雷达图像；

对高光谱图像进行降维，得到低维度主成分的高光谱图像；

根据高光谱图像和激光雷达图像构建训练样本对，并结合真实标签构建训练集。

进一步，所述基于训练集对预设的特征自适应互引导的多源信息融合网络进行训练，得到训练完备的特征自适应互引导的多源信息融合网络这一步骤，其具体包括：

基于光谱-空间特征学习模块对高光谱图像进行Involution算子特征学习操作，对高光谱图像和激光雷达图像的空间结构进行融合，提取得到光谱特征信息和空间特征信息；

基于光谱-空间互相引导模块对光谱特征信息和空间特征信息进行多尺度特征提取，得到低层特征、中层特征和高层特征；

基于多模态数据融合分类模块将低层特征、中层特征和高层特征按权重计算概率分类，得到训练分类结果；

根据训练分类结果和真实标签调整网络参数，得到训练完备的特征自适应互引导的多源信息融合网络。