[发明专利]一种基于深度多任务学习的文本分类方法

权利要求书

1.一种基于深度多任务学习的文本分类方法，其特征在于，包括以下步骤：

S1：利用词向量和双向循环网络学习当前任务的文档表示；

S2：利用卷积神经网络，从其他任务的文档表示抽取特征；

S3：利用当前任务的文档表示、其他任务的特征学习分类器。

2.根据权利要求1所述的基于深度多任务学习的文本分类方法，其特征在于，所述步骤S1的具体过程为是：

将所有任务中所有中文文档进分词，假设总共有N个词，然后赋予每个词一个唯一标示，然后表示成一个K维的向量，即所有词向量行程一个N*K的矩阵，然后使用正态分布随机初始化，词向量矩阵是所有任务共享的；

用词向量和双向循环网络学习当前任务的文档表示，双向循环网络的上文表示学习部分公式为：

$h_i^l=f(W^{rl}{h}_{i-1}+W^l{e}_i)$

双向循环网络的下文表示学习部分公式为：

$h_i^r=f(W^{rr}{h}_{i-1}+W^r{e}_i)$

其中，分别表示文档的上下文表示；e_i为词w_i的词向量，使用均值为0方差为0.06的正态分布进行随机初始化，训练的时候通过查表得到或使用较大规模的语料及word2vec预词向量同时进行替换掉随机初始化；W^l、W^r、W^rl、W^rr为参数矩阵，分别用在上文词向量、下文词向量、上文循环状态、下文循环状态上；f为非线性激活函数；

将得到所有单词的表示链接到一起，得到整个文档的矩阵表示X，即文档上文向量，下文向量的连接，其中