[发明专利]一种面向少样本领域的轻量级半监督模型框架

说明书

本发明公开了一种面向少样本领域的轻量级半监督模型框架，涉及深度学习自然语言处理技术领域，包括：作为预训练的激励网络；作为训练的目标网络，所述目标网络连接于所述激励网络，并与所述激励网络完成若干特征蒸馏；其中，所述激励网络利用一致性正则化和数据增强技术从无监督数据和监督数据中挖掘信息和特征，为后续的所述目标网络的训练提供多级正则化约束。本发明提供的上述框架采用半监督的学习方法，在文本分类中，只需要少量的标注数据，也能达到很好的效果；本发明提供的上述框架采用激励网络来引导目标网络的两阶段训练方法，因为最终的目标网络是轻量级的卷积神经网络，因此，参数量更小，运行时所需资源更少，速度更快。

技术领域

本发明涉及深度学习自然语言处理技术领域，尤其涉及一种面向少样本领域的轻量级半监督模型框架。

背景技术

近年来，随着深度学习的广泛应用，自然语言处理的技术也从统计学、机器学习等传统方法过渡到了深度学习的方法，并且已经有了很成熟的应用，比如文本分类、信息抽取、机器翻译、情感分析和阅读理解等。这些成功的应用得益于深度学习模型的快速发展，比如BERT，XLNET等。

但是，上述所取得的进步在很大程度上取决于大规模和高质量的人工标注数据。要获取大量高质量的标记数据非常昂贵，特别是在金融、医学、法律等领域，文本标注依赖于领域专家的深入参与。如何利用少量的标注数据达到很好的效果是自然语言处理领域发展的新方向。

其中，采取半监督的方法是解决上述问题的一种技术路线。Unsupervised DataAugmentation for Consistency Training(UDA)模型是一种基于BERT预训练模型的半监督学习方法。训练数据包括少量的监督数据和大量的无监督数据，无监督数据包括无监督数据本身和对应的增强数据。损失函数由两部分组成，其中，一部分是监督数据的交叉熵损失函数，另一部分是无监督损失，通过无监督数据进行数据增强后利用二者的一致性正则作为损失函数。在IMDB上，UDA通过利用20条的监督数据实现91％的准确率。但是，采用UDA模型存在至少两点缺陷：1、比较依赖前期的预训练模型，而预训练模型的成本比较高；2、UDA模型基于BERT模型，所以，参数量比较大，预测速度不快。

因此，本领域的技术人员致力于开发一种面向少样本领域的轻量级半监督模型框架，减少现有技术方案中存在的对预训练模型的依赖程度，并降低模型的参数量，提升模型的预测速度。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何在减少对预训练模型的依赖程度并降低模型的参数量的情况下提升模型的预测速度。

为实现上述目的，本发明提供了一种面向少样本领域的轻量级半监督模型框架，包括：

作为预训练的激励网络；

作为训练的目标网络，所述目标网络连接于所述激励网络，并与所述激励网络完成若干特征蒸馏；

其中，

所述激励网络利用一致性正则化和数据增强技术从无监督数据和监督数据中挖掘信息和特征，为后续的所述目标网络的训练提供多级正则化约束。

进一步地，所述激励网络包括先后依次连接的第一文本编码器、第一文本分类器和第一特征投影；

其中，

所述第一文本编码器是一个预先训练的语言模型，包括若干堆叠设置的transformer层，所述无监督数据和所述监督数据作为输入，经过所述第一文本编辑器的预先训练，输出为第一向量；

所述第一文本分类器包括第一多层感知器，接收所述第一向量并微调下游分类任务；

所述第一特征投影包括单层感知机和非线性激活函数，可以对齐所述激励网络和所述目标网络的特征维度。