[发明专利]一种基于多任务对抗学习的文本分类方法

权利要求书

1.一种基于多任务对抗学习的文本分类方法，其特征在于，包括以下步骤：

1)基于word2vec模型，在未贴标签的大规模数据集上预训练word embeddings词嵌入向量，用于文本数据的矩阵向量化；

2)构建基于Shared-Private模型的多任务特征提取网络，利用步骤1)得到的预训练词向量初始化Shared-Private网络的输入；

3)引入多领域对抗网络，优化步骤2)得到的共享特征空间，使之包含更多的共享特征和更少的私有特征；

4)引入特征矩阵的正交约束模型，在步骤3)中优化共享特征空间的基础上，消除共享特征空间和私有特征空间中的冗余特征；

5)在步骤2)、步骤3)和步骤4)的基础上，设计带超参数的联合损失函数，训练出基于多任务对抗学习的文本分类模型；

6)保存步骤5)中得到的共享特征提取网络，维持网络参数不变，用于新目标领域的文本数据分类预测。

2.根据权利要求1所述基于多任务对抗学习的文本分类方法，其特征在于，步骤2)中，所述构建基于Shared-Private模型的多任务特征提取网络，

具体包括以下内容：

Shared-Private模型包含两个部分：a)全局唯一的共享特征提取网络由一个长短期记忆网络和一个卷积神经网络网络并行组成，简称为Parallel LC网络层，用以提取任务无关的共享特征；b)多个任务特定的私有特征提取网络均由一个CNN构建，用以提取依赖特定任务的私有特征；最后，两部分得到的共享特征和私有特征进行融合，输入到一个紧接着softmax层的全连接层以输出分类标签的概率分布。

3.根据权利要求1所述基于多任务对抗学习的文本分类方法，其特征在于，步骤3)中，所述多领域对抗网络，具体包括以下内容：

使用步骤2)Parallel LC网络层得到的共享特征集合F_S会输入到一个多领域的分类器D中，用以判别输入数据的领域类型；对抗训练体现在：对于给定的F_S，分类器D将计算领域分类的损失函数L_D，通过在分类器D和Parallel LC层之间构建一个梯度逆转层，Parallel LC层的领域损失函数转换为-L_D，经过梯度下降训练后，Parallel LC层的参数将最小化损失函数-L_D，从而最大化损失函数L_D；最终，分类器D将不能根据共享特征判别输入数据的领域类型，此时Parallel LC层学习的共享特征空间将包含最多的领域共享特征，而不包含特定领域的私有特征。

4.根据权利要求1所述基于多任务对抗学习的文本分类方法，其特征在于，步骤4)中，所述特征矩阵的正交约束模型，具体包括以下内容：

使用步骤2)得到的共享特征分别来源于Parallel LC层的LSTM和CNN的输出，因此基于矩阵正交计算公式，约束模型将分别以Parallel LC提取出的两种共享特征矩阵与唯一的私有特征矩阵为输入，计算两种正交约束损失函数，最后联合最小化这两种损失函数将消除同时存在于共享特征空间和私有特征空间中的冗余特征。

5.根据权利要求1所述基于多任务对抗学习的文本分类方法，其特征在于，步骤5)中，所述多任务对抗学习的文本分类模型，其优化目标包含步骤2)、步骤3)和步骤4)对应的三种损失函数，并且以带超参数的形式进行线性相加；同时，通过步骤5)训练出的共享网络层Paralle LC将进行保存，维持网络参数不变，用于步骤6)中新目标领域文本数据的分类预测。