[发明专利]基于增量学习的词向量生成方法和装置

说明书

本发明实施例提供一种基于增量学习的词向量生成方法和装置。本发明基于增量学习的词向量生成方法，包括：获取原始语料库的词共现矩阵、新增语料库的词共现矩阵和所述原始语料库的训练结果参数，训练结果参数包括梯度值和第一矩阵分解结果；将原始语料库的训练结果参数作为新增语料库的初始训练参数；使用所述新增语料库的初始训练参数、所述原始语料库的词共现矩阵和所述新增语料库的词共现矩阵采用梯度下降算法迭代优化总目标函数，获取第二矩阵分解结果，所述第二矩阵分解结果为使得所述总目标函数极小化的解；根据所述第二矩阵分解结果获取多个词向量。本发明实施例可以有效减少生成词向量过程所消耗的时长。

技术领域

本发明实施例涉及计算机技术，尤其涉及一种基于增量学习的词向量生成方法和装置。

背景技术

词向量是用一个向量来表示一个词，从而将自然语言符号数学化，以便计算机对自然语言进行处理。

GloVe算法是一种新的词向量生成的方法，其综合运用了词的全局统计信息和局部统计信息来生成语言模型和词的向量化表示。GloVe算法集合了传统的基于统计的词向量模型和基于预测的词向量模型的优点，训练过程更加简单高效，生成的词向量更能体现词与词之间的线性关系。

然而，GloVe算法并没有考虑增量学习的情况，当语料库发生增量变化的时候，全局共现矩阵发生了变化。GloVe算法只能合并原始语料库和增量部分语料库，得到合并后的语料库，然后从初始状态重新训练整个语料库，这样会导致生成词向量过程耗时较长。

发明内容

本发明实施例提供一种基于增量学习的词向量生成方法和装置，以有效减少生成词向量过程所消耗的时长。

第一方面，本发明实施例提供一种基于增量学习的词向量生成方法，包括：

获取原始语料库的词共现矩阵、新增语料库的词共现矩阵和所述原始语料库的训练结果参数，所述训练结果参数包括梯度值和第一矩阵分解结果；

将所述原始语料库的训练结果参数作为所述新增语料库的初始训练参数；

使用所述新增语料库的初始训练参数、所述原始语料库的词共现矩阵和所述新增语料库的词共现矩阵采用梯度下降算法迭代优化总目标函数，获取第二矩阵分解结果，所述第二矩阵分解结果为使得所述总目标函数极小化的解；

根据所述第二矩阵分解结果获取多个词向量。

第二方面，本发明实施例提供一种基于增量学习的词向量生成装置，包括：

获取模块，用于获取原始语料库的词共现矩阵、新增语料库的词共现矩阵和所述原始语料库的训练结果参数，所述训练结果参数包括梯度值和第一矩阵分解结果；

初始化模块，用于将所述原始语料库的训练结果参数作为所述新增语料库的初始训练参数；

增量学习模块，用于使用所述新增语料库的初始训练参数、所述原始语料库的词共现矩阵和所述新增语料库的词共现矩阵采用梯度下降算法迭代优化总目标函数，获取第二矩阵分解结果，所述第二矩阵分解结果为使得所述总目标函数极小化的解；

词向量获取模块，用于根据所述第二矩阵分解结果获取多个词向量。

本发明实施例基于增量学习的词向量生成方法和装置，通过获取原始语料库的词共现矩阵、新增语料库的词共现矩阵和所述原始语料库的训练结果参数，将所述原始语料库的训练结果参数作为所述新增语料库的初始训练参数，使用所述新增语料库的初始训练参数、所述原始语料库的词共现矩阵和所述新增语料库的词共现矩阵采用梯度下降算法迭代优化总目标函数，获取第二矩阵分解结果，根据所述第二矩阵分解结果获取多个词向量，本实施例通过设置与新增语料库对应的增量目标函数，使得当语料库随着时间推移发生增量变化的时候，以原始语料库的训练结果参数为初始训练参数，进一步训练该新增语料库，从而可以有效减少词向量生成过程所消耗的时长。