[发明专利]一种深度迁移学习的不平衡分类集成方法

说明书

本发明公开的一种深度迁移学习的不平衡分类集成方法，包括以下步骤：建立辅助数据集；构建辅助深度网络模型和目标深度网络模型；训练辅助深度网络；将辅助深度网络的结构和参数迁移到目标深度网络；计算auprc值的乘积作为分类器的权值，对各个迁移分类器的分类结果加权集成，得到集成分类结果，作为集成分类器输出。本发明的方法，改进的平均精度方差损失函数APE和平均精度交叉熵损失函数APCE，在计算样本的损失代价时，动态调整样本的权值，对多数类样本赋予较少的权值，对少数类样本赋予更多的权值，由此训练得到的深度网络对少数类样本更加重视，更适用于不平衡数据的分类问题。

技术领域

本发明涉及机器学习中的深度学习、迁移学习和不平衡分类领域，尤其涉及到一种深度迁移学习的不平衡分类集成方法。

背景技术

传统的数据分类方法把不同类型的数据同等看待，致力于提高整体的分类准确度。但现实中存在很多数据分布不平衡的情况，因为有些样本或者是较少出现或者是收集代价高，使得某一类样本数量远远少于其它类样本数量，如疾病检测、破产预估、市场客户流失预测、软件缺陷预测等。这些情况下的异常数据类(少数类)只占正常数据类(多数类)的10％到20％，分布不平衡，甚至极度不平衡。传统的分类方法大多以数据分布基本均衡作为前提，以样本总体的分类准确率作为目标，这对要从庞大的样本中，寻找少量的异常样本的不平衡分类问题并不合适，因为当少数的异常样本都没有被正确识别时，总体分类准确率也可以很高。当数据分布不平衡，特别是错分类代价不同，错分少数类样本代价很高时，正确区分少数类样本显得尤其重要。因此不平衡数据分类问题成为备受关注的研究内容。

深度网络可以有效地提取数据的特征，迁移学习能够利用已经存在的相关任务或数据域的有标记数据处理目标任务或目标领域的问题。深度学习与迁移学习的结合称为深度迁移学习(Deep Transfer Learning，DTL)，将相关领域数据训练的深度模型重用于目标领域，能够有效提取数据特征，提高对不平衡数据的分类能力。

深度迁移学习利用相关领域的辅助数据建立深度网络模型，通过深度网络学习相关领域辅助数据特征，将学习的辅助深度网络结构和特征迁移到目标领域。现有深度迁移学习存在不足：首先，特征迁移可能为目标学习带来好处，同时也可能是负特征迁移而影响目标学习；其次，深度网络结构迁移方法的选择，使得学习的过程耗费大量的时间和空间代价。深度迁移学习的集成方法可以解决深度网络结构迁移选择问题，使学习代价降到最低；同时，减少负特征迁移的影响，使正向特征迁移发挥最大作用。但由辅助数据学习到的深度网络迁移得到的分类器可能会倾向多数类，简单的集成可能会对分类器的倾向产生叠加效果，使得最终的集成分类器过度倾向多数类，无法实现不平衡分类的目标，因此本发明提出了一种用于不平衡数据分类的深度迁移集成方法。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种深度迁移学习的不平衡分类集成方法。

为实现上述目的，本发明所提供的技术方案为：

一种深度迁移学习的不平衡分类集成方法(Ensemble of Unbalanced DeepTransfer，EUDT)，包括以下步骤：

(1)建立辅助数据集：

根据目标数据的特性，选择或者采集与目标任务相关的数据组成辅助数据集；

(2)构建辅助深度网络模型和目标深度网络模型：

确定深度网络的结构，构建辅助深度网络模型和目标深度网络模型；

(3)训练辅助深度网络：

(3-1)利用无标签的辅助数据样本对栈式自编码器进行预训练；

(3-2)利用有标签的辅助数据样本对步骤(3-1)训练得到的网络参数进行调整；

(4)将辅助深度网络的结构和参数迁移到目标深度网络：