[发明专利]一种多任务模型生成词向量的方法

权利要求书

1.一种多任务模型生成词向量的方法，其特征在于，包括以下步骤：

S1.数据预处理与词向量初始化；所述的步骤S1中：

将每个词与某个向量关联起来，即需要实现这一个转换函数，将一个词映射到一个n维的向量中：

在此之后的模型训练优化时，更新对应的向量的值即为对该词向量进行更新；具体实现方法是先以正态分布的方法先随机初始化一个V×n维的矩阵其中V表示语料的词汇量；然后通过词典的方法对每个词进行编号，从而每个词w⁽ⁱ⁾都对应一个编号i，以矩阵E的第i行的向量E_i作为词w⁽ⁱ⁾的词向量：

所以在模型中，矩阵E便可认为是由所有的词向量拼接组成的矩阵，对矩阵E的第i行进行更新也就对应于对词w⁽ⁱ⁾的词向量进行更新；而模型收敛时，矩阵E也做作为模型的词向量结果；

在w⁽ⁱ⁾中使用的上标i表示其在字典中的编号顺序；同理，当使用(v⁽ⁱ⁾，y⁽ⁱ⁾)时，其分别表示数据集中第i个样本的词向量矩阵v⁽ⁱ⁾，及其标注y⁽ⁱ⁾，而则表示第i个样本中第j个词对应的词向量，则表示第i个样本中第j个词对应的标注信息，的表示只在词性标注需要使用；

S2.分类任务；其中，选择以Fasttext模型作为分类算法；

S3.词性任务，其中，使用多分类的逻辑回归算法作为词性任务的模型算法；

S4.无监督任务；其中，在无监督任务中使用GloVe模型进行描述；

S5.优化目标与参数优化。

2.根据权利要求1所述的一种多任务模型生成词向量的方法，其特征在于：所述的步骤S2中，

对于输入的文本其对应的词向量矩阵为其中T表示文本序列的长度，记y⁽ⁱ⁾为该文本的类别，N为训练语料中的样本数，则模型的任务目标为：

在表述时采用softmax，此时在式(3)中：

其中

最后采用交叉熵作为分类任务的损失函数，其损失函数可表示为：

3.根据权利要求1所述的一种多任务模型生成词向量的方法，其特征在于：所述的步骤S3中，

对于输入的文本其对应的词向量矩阵为其中T表示文本序列的长度，记y⁽ⁱ⁾为该文本的类别，N为训练语料中的样本数，因多分类的逻辑回归算法是softmax函数的一种应用，采用与分类任务计算损失函数相同的方法可得词性任务中的损失函数为：

4.根据权利要求1所述的一种多任务模型生成词向量的方法，其特征在于：所述的步骤S4中，

构建统计共现矩阵：

使用矩阵记录语料的共现信息，其中V为词汇表大小，其元素X_ij则表示词w⁽ⁱ⁾与词w^(j)的共现次数，其中i和j均为词的序号，与词的预处理中映射的序号相同；在统计共现信息是，先将矩阵X初始化为0，然后滑动窗口，对于每个窗口，若词w⁽ⁱ⁾与词w^(j)在滑动窗口中，则X_ij＝X_ij+1，滑动窗口到语料结束，则统计结束；

构建损失函数：

GloVe模型的损失函数数学表达式为：

其中b_i,b_j为待学习的标量参数，f(x)为值域为[0,1]的函数：

其中x_M为预先设置的阈值，用于归一化操作。

5.根据权利要求1所述的一种多任务模型生成词向量的方法，其特征在于：所述的步骤S5中，

优化目标为最小化如下的联合损失函数：

L＝αL_c+βL_p+γL_l (10)

其中α、β、γ为待调节且大于0的超参，L_c、L_p、L_l分别对应于式(6)、式(7)、式(8)中的损失函数；

在最优化参数时采用基于反向传播算法的批量随机梯度下降法；在损失函数L达到一定阈值或者随着训练继续而不再下降时，模型收敛，训练结束；同时因为L_p的损失函数更容易收敛，在初始训练时，先将β设为一个接近0的值，在L_c、L_l快要收敛时，再将β值增大。