[发明专利]一种领域适应性网络的深度迁移学习方法

说明书

技术领域

本发明涉及计算机数据分析技术领域，更具体地，涉及一种领域适应性网络的深度迁移学习方法。

背景技术

互联网技术已经在生活中各个领域得到了广泛的应用，由于文本、图像、视频等非结构化数据增长速度越来越快，因此需要提出针对这些数据的分析方法和处理算法。通过各种信息渠道可以收集到大规模非结构化数据，但大部分数据中缺少标记等信息，这也就意味着常规的监督学习难以在这些数据中得以应用。

为了应对标记数据稀缺问题，推出了基于群体智慧的语义网络知识库，借助互联网用户这个近乎无限的知识资源，对一些重要领域的大规模数据进行标记和维护，如文本领域的维基百科、百度百科，图像领域的ImageNet、Flickr等。而另一方面有了新的思路：有效地挖掘富标记数据中有用的信息，迁移到弱标记甚至无标记的特定场景下，即迁移学习；迁移学习作为机器学习的重要前沿方向之一，目标是将源域的知识迁移到新的领域。

由于不同领域的数据不再符合机器学习的常规假设：独立同分布条件，所以迁移学习对机器学习泛化性能提出的要求更高。领域适应性网络(Domain Adaptation Network)是一种深度神经网络，其从原始问题(领域)学习到的模型可以很好的适应一个与之不同的目标问题(领域)，领域适应性网络往往包括多层结构，而特征的迁移能力在领域适应性网络的中间层显著弱化，在领域适应性网络的上层严重降低；近年来迁移学习主要面临主要挑战是迁移学习过程中的可靠性，即难以同时保证领域适应性网络中各层的特征的迁移效果，特别是上层的特征的迁移效果，从而影响领域适应性网络迁移学习的效果。

发明内容

为了克服上述问题或者至少部分地解决上述问题，本发明提供一种领域适应性网络的深度迁移学习方法。

根据本发明的一个方面，提供一种领域适应性网络的深度迁移学习方法，包括：确定第一概率分布与第二概率分布之间的分布差异，第一概率分布为源域的样本在领域适应性网络的任一任务相关层中的特征的概率分布，第二概率分布为目标域的样本在任一任务相关层中的特征的概率分布，任务相关层为领域适应性网络的上层，将第一概率分布与第二概率分布之间的分布差异作为任一任务相关层对应的分布差异；确定对源域和目标域中已标记的样本的分类错误率；确定对目标域的数据结构的错配度；根据每一任务相关层对应的分布差异，分类错误率和错配度，确定领域适应性网络的损失函数的值；基于损失函数的值，更新领域适应性网络的参数，以使领域适应性网络适配目标域。

其中，确定第一概率分布与第二概率分布之间的分布差异，包括：将源域和目标域中的样本输入到领域适应性网络，作正向传播，获取源域和目标域中的样本在任一任务相关层中的特征；根据源域的样本在任一任务相关层中的特征确定第一概率分布，根据目标域的样本在任一任务相关层中的特征确定第二概率分布；计算第一概率分布与第二概率分布之间的多核分布距离，将多核分布距离作为第一概率分布与第二概率分布之间的分布差异。

其中，计算第一概率分布与第二概率分布之间的多核分布距离，包括：选取含有优化参数的多个核函数作为源域和目标域的样本在任一任务相关层中的特征向可再生核希尔伯特空间映射的总核函数；基于总核函数构建第一概率分布与第二概率分布之间的分布距离函数；基于无偏估计法确定优化参数，以获得第一概率分布与第二概率分布之间的多核分布距离。

其中，确定对源域和目标域中已标记的样本的分类错误率，包括：将源域和目标域中已标记的样本输入到领域适应性网络，输出对源域和目标域中已标记的样本的预测结果；基于领域适应性网络对源域和目标域中已标记的样本的预测结果的条件概率确定分类错误率。

其中，确定对目标域的数据结构的错配度，包括：将目标域中未标记的样本输入到领域适应性网络，输出对目标域中未标记的样本的预测结果；根据领域适应性网络对源域和目标域中已标记的样本的预测结果的条件概率，并基于条件熵函数的低密度划分准则确定源域的分类模型对目标域的数据结构的错配度。

其中，基于损失函数的值，更新领域适应性网络的参数，包括：利用反向传播算法更新领域适应性网络的参数；基于更新参数后的领域适应性网络，重新确定更新参数后的损失函数的值，并判断更新参数前的损失函数的值与更新参数后的损失函数的值的差值是否大于预设值，若确定差值大于预设值，则利用反向传播算法重新更新领域适应性网络的参数，直至确定差值小于预设值。