[发明专利]基于增量学习的词向量生成方法和装置

权利要求书

1.一种基于增量学习的词向量生成方法，其特征在于，包括：

获取原始语料库的词共现矩阵、新增语料库的词共现矩阵和所述原始语料库的训练结果参数，所述训练结果参数包括梯度值和第一矩阵分解结果；

将所述原始语料库的训练结果参数作为所述新增语料库的初始训练参数；

使用所述新增语料库的初始训练参数、所述原始语料库的词共现矩阵和所述新增语料库的词共现矩阵采用梯度下降算法迭代优化总目标函数，获取第二矩阵分解结果，所述第二矩阵分解结果为使得所述总目标函数极小化的解；

根据所述第二矩阵分解结果获取多个词向量。

2.根据权利要求1所述的方法，其特征在于，所述使用所述新增语料库的初始训练参数、所述原始语料库的词共现矩阵和所述新增语料库的词共现矩阵采用梯度下降算法迭代优化总目标函数，包括：

i分别取1至V，j分别取1至V，若X_ij不等于0，则根据X_ij、ΔX_ij和增量梯度函数确定W_i′^T和对应的梯度方向，使用所述新增语料库的初始训练参数、X_ij和ΔX_ij沿所述梯度方向更新W_i′^T和直至根据2V个词向量确定的总目标函数的值极小，将所述2V个词向量作为所述第二矩阵分解结果中的词向量，其中，所述增量梯度函数是对增量目标函数求导，所述增量目标函数具体为：其中，W_i′^T和是所述第二矩阵分解结果中的词向量，b_i和是偏移向量，X_ij是原始语料库的词共现矩阵中索引为i的词和索引为j的词的共现值，ΔX_ij是所述新增语料库的词共现矩阵中索引为i的词和索引为j的词的共现值，f₀是权重函数，为权重变化函数。

3.根据权利要求2所述的方法，其特征在于，所述使用所述新增语料库的初始训练参数、X_ij和ΔX_ij沿所述梯度方向更新W_i′^T和包括：

设置迭代次数t；

当t＝1时，采用下式更新W_i′^T、b_i′和

当t>1时，采用下式更新W_i′^T、b_i′和

其中，W_i^T和是所述第一矩阵分解结果中的词向量，b_i′和是偏移向量，η′为梯度下降算法的学习率。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

若存在X_ij等于0，则根据X_ij、ΔX_ij和总梯度函数确定W_i′^T和对应的梯度方向，使用所述新增语料库的初始训练参数、X_ij和ΔX_ij沿所述梯度方向更新W_i′^T和其中，所述总梯度函数是对总目标函数求导，所述总目标函数具体为：其中，f₁(X_ij+ΔX_ij)是变化后的语料库的权重函数。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据预先设定的滑动窗口统计所述新增语料库中相应数量的单词的共现次数；

根据所述共现次数建立所述新增语料库的词共现矩阵。