[发明专利]面向跨界大数据分析的对抗迁移学习方法及系统

说明书

技术领域

本发明涉及数据分析技术领域，更具体地，涉及一种面向跨界大数据分析的对抗迁移学习方法及系统。

背景技术

在众多的机器学习任务处理中，深度神经网络方法为目前效果最好的方法。但深度神经网络只有在获得了足够丰富的有标签数据后，经过监督学习训练才能获得很好的任务效果。为了在目标领域的已标注数据较少的情况下，仍能获得效果较好的用于完成目标任务的深度神经网络，通常采用跨领域学习，将源领域丰富的已标注数据用于目标领域的深度神经网络的获取。基于源领域丰富的已标注数据获取的深度神经网络下，源领域的数据与目标领域的数据存在分布偏移的问题，因而该深度神经网络应用目标领域完成目标任务时效果不佳。

针对这一问题，通常采用迁移学习方法解决，即训练一个鉴别器用于调整深度神经网络的参数，使得参数调整后的深度神经网络下，源领域的数据与目标领域的数据间的分布偏移减小，从而深度神经网络应用目标领域完成目标任务时有较佳的效果。其中，对抗迁移学习方法是目前效果最好的迁移学习方法之一，其通过根据深度神经网络中间层的单个数据层的数据向量，构建鉴别器的损失函数，最小化该鉴别器的损失函数获取该鉴别器的参数，并固定该鉴别器的损失函数的参数，最小化深度神经网络的损失函数与该鉴别器的损失函数之差，获取深度神经网络的参数这一方式不断调整深度神经网络的参数直至收敛。

通过对抗迁移学习方法，参数调整后的深度神经网络顶层的若干数据层下，源领域的数据与目标领域的数据可能仍然存在数据分布偏移，进而深度神经网络应用目标领域完成目标任务时效果可能不佳。尤其，当源领域与目标领域的数据分布呈现多模式的复杂结构时，根据深度神经网络中间层的单个数据层的数据向量，构建鉴别器的损失函数用于调整深度神经网络的参数，参数调整后的深度神经网络的可能难以捕捉繁杂的数据分布特征以将分布细粒度对齐，使得源领域与目标领域的数据分布偏移仍较大，深度神经网络应用目标领域完成目标任务时效果不佳。

发明内容

本发明提供一种面向跨界大数据分析的对抗迁移学习方法及系统，以克服现有对抗迁移学习方法得到的深度神经网络顶层的若干数据层下，源领域的数据与目标领域的数据可能仍然存在数据分布偏移，以及当源领域与目标领域的数据分布呈现多模式的复杂结构时，得到深度神经网络可能难以捕捉繁杂的数据分布特征以将分布细粒度对齐，使得源领域与目标领域的数据分布偏移仍较大，应用目标领域完成目标任务时效果不佳的问题。

根据本发明的第一方面，提供一种面向跨界大数据分析的对抗迁移学习方法，该方法包括：步骤1，将源领域和目标领域各自的未标注数据集输入至预设深度神经网络并正向传播，获取所述源领域和目标领域各自的未标注数据集对应的张量集；所述张量集中张量为对应未标注数据作为输入时，所述预设深度神经网络中预设数据层集合中所有数据层的数据向量的张量积；步骤2，将所述源领域和目标领域各自的未标注数据集对应的张量集中每个张量对应的随机多线性融合表示，代入鉴别器的原始损失函数，得到鉴别器的当前损失函数，并利用反向传播调整所述鉴别器的参数，以最小化所述当前损失函数，作为所述鉴别器的当前最佳损失函数；步骤3，利用反向传播，将所述预设深度神经网络在所述源领域的损失函数减去平衡参数与所述当前最佳损失函数的乘积后最小化，得到所述预设深度神经网络的新参数，用所述新参数更新所述预设深度神经网络的参数并再次进行所述正向传播以再一次更新所述预设深度神经网络的参数，直至参数收敛；所述平衡参数为所述预设深度神经网络在所述源领域的损失函数与所述当前最佳损失函数的平衡参数。

其中，所述步骤1具体包括：步骤11，将所述源领域和目标领域各自的未标注数据集中的每个未标注数据依次输入至预设深度神经网络并正向传播，获取所述每个未标注数据下所述预设深度神经网络中预设数据层集合中每个数据层的数据向量；步骤12，计算所述数据向量的张量积，将所述张量积作为所述每个未标注数据对应的张量；步骤13，根据所述源领域的未标注数据集中每个未标注数据对应的张量，得到所述源领域的未标注数据集对应的张量集，并根据所述目标领域的未标注数据集中每个未标注数据对应的张量，得到所述目标领域的未标注数据集对应的张量集。

其中，在步骤1中，所述预设数据层集合由所述预设深度神经网络顶层和中间层中的若干数据层构成。

其中，在步骤2中，所述鉴别器为一个输入为d维向量、输出在区间[0,1]上的全连接预设深度神经网络鉴别器；所述鉴别器的原始损失函数设定为：