[发明专利]基于半监督的多模态深度学习分类方法

说明书

技术领域

本发明涉及在用深度学习进行分类的同时考虑了样本丰富的多模态信息以及各模态的分类贡献差异性，利用半监督的方法解决样本不足问题的一种基于半监督的多模态深度学习分类方法。

背景技术

高光谱遥感图像具有的纹理、空间相关性以及光谱等多种模态信息，融合这么多方面的特征信息使得高光谱遥感可以探测到更多的地物信息，极大提高了人类对客观世界的认知能力。

目前更多的研究者直接利用深度模型对部分模态信息进行融合，较少研究者针对模态的分类贡献差异性来构建深度网络架构。此外，图像的分类性能主要依赖大量的训练样本，而实际往往缺乏足够的有标记样本。如何在拥有较少有标记样本的基础上，保持深度学习泛化能力的研究还比较少。

在公知技术中，现在有很多的深度模型，比如SAE、DBN、DCNN等。在2015年，Li等人提出基于SAE的深度架构来组合底层次特征。Chen等人提出利用另一种新的深度模型DBN进行分类，DBN模型能够提取更鲁棒的特征，获得优于其它模型的分类精度。

在深度模型DCNN方面，DCNN使用局部连接可以有效地提取空间信息，并通过共享权重来减少训练参数。Zhao等人首先通过局部判别嵌入方法压缩光谱特征，通过CNN学习空间特征，然后把处理后的光谱特征和空间特征放入多分类器。Chen等人提出端到端的DCNN框架进行特征学习和高光谱图像分类。A.Romero等人提出利用无监督的卷积神经网络分析遥感图像，该方法通过无监督的贪心分层预训练方法构建一个DCNN模型。针对训练样本少而维数高所带来的过拟合问题，Chen等人采用L2正则化和dropout来解决。Li等人提出利用CNN进行像素对特征分类的思想来补偿数据的不足。

发明内容

综上所述，现有的公知技术研究中更多是直接利用深度模型对部分模态信息进行融合，较少研究者针对模态的分类贡献差异性来构建深度网络架构。公知技术的缺点在于，许多深度模型比如SAE、DBN的不同层间采用全连接模式，需要训练大量的参数，而实际往往缺少大量可用的标记训练样本。此外，SAE和DBN在训练阶段，只是把空间信息表示成向量形式，因而不能更有效地提取空间信息。

对于DANN这个模型，它虽然使用局部连接可以有效地提取空间信息，并通过共享权值的方式减少参数的数量。但它需要很多个隐藏层才可以学到更复杂的数据特征，可能仍然需要学习非常多的参数，尤其当训练样本数量不充足时往往导致过拟合问题。

相比之下，现有的公知技术不能全面的考虑如何在拥有较少有标记样本的基础上，保持深度学习的泛化能力以及如何将样本的多模态信息和少的标记样本结合起来构建深度学习架构。

为了克服现有技术上的缺陷提出了本发明。本发明结合了样本的空间领域特征，纹理特征，光谱特征的多模态信息以及用各模态信息的分类贡献差异性来构建深度网络架构，此外还考虑了少量标记样本的问题，利用半监督的方法来利用少量标记的样本预测大量未标记的样本。

所述代价是分类正确率。

本发明所采用的技术方案为：基于半监督的多模态深度学习分类方法，包括如下步骤：

(1)将高光谱图像分为光谱模态、空间纹理模态和空间相关性模态，针对每种模态分别设计对应的深度卷积神经网络；

(2)根据模态的分类贡献差异度，设计融合三个模态的融合分类器F；每个模态本身具有自己的隐含属性，因此可以对不同模态数据进行聚类，以获得其内在属性类别，每个模态都对应一个隐含属性分类器，分别为光谱隐含属性分类器S，纹理隐含属性分类器T，以及相关性隐含属性分类器R。

(3)针对所有的标记样本，利用聚类方法来获取其隐含的属性分类；

(4)通过聚类后每个样本拥有两个标签，可以获得这两个类别的对应关系；

(5)对未标记的样本进行聚类分析，先通过多目标深度网络计算其深度特征，然后基于聚类标签寻找近似的有标记样本，最后根据有标记样本的标记信息预测未标记样本的标记；

所述步骤(5)需要设置预测标记的置信标准，如果超出标准则不做预测，当一定批次的未标记样本被预测出标记信息后，自适应地调整每个模态的分类贡献差异度。

本发明的有益效果：

本发明涉及基于半监督的多模态深度学习分类方法，较为全面考虑了样本多模态信息和各模态分类贡献差异度，以及将其和半监督方法结合起来解决标记样本少的问题，来提高深度模型的泛化能力。