[发明专利]词向量处理方法、装置以及电子设备

权利要求书

1.一种词向量处理方法，包括：

对语料分词得到各词；

确定所述各词对应的词干；

建立并初始化所述各词的词向量，以及所述各词对应的词干的词干向量；

根据所述词向量、所述词干向量，以及分词后的所述语料，对所述词向量和所述词干向量进行训练。

2.如权利要求1所述的方法，所述确定所述各词对应的词干，具体包括：

根据对所述语料分词的结果，确定在所述语料中出现过的词；

分别针对所述确定的互不相同的词，执行：

确定该词对应的词干。

3.如权利要求2所述的方法，所述根据对所述语料分词的结果，确定在所述语料中出现过的词，具体包括：

根据对所述语料分词的结果，确定在所述语料中出现过且出现次数不少于设定次数的词。

4.如权利要求1所述的方法，所述初始化所述各词的词向量，以及所述各词对应的词干的词干向量，具体包括：

采用随机初始化的方式或者按照指定概率分布初始化的方式，初始化所述各词的词向量，以及所述各词对应的词干的词干向量，其中，相同词干的词干向量也相同。

5.如权利要求1所述的方法，所述根据所述词向量、所述词干向量，以及分词后的所述语料，对所述词向量和所述词干向量进行训练，具体包括：

确定分词后的所述语料中的指定词，以及所述指定词在分词后的所述语料中的一个或多个上下文词；

根据所述指定词对应的词干的词干向量，以及所述上下文词的词向量，确定所述指定词与所述上下文词的相似度；

根据所述指定词与所述上下文词的相似度，对所述上下文词的词向量和所述指定词对应的词干的词干向量进行更新。

6.如权利要求5所述的方法，所述根据所述指定词与所述上下文词的相似度，对所述上下文词的词向量和所述指定词对应的词干的词干向量进行更新，具体包括：

从所述各词中选择一个或多个词，作为负样例词；

确定所述指定词与各所述负样例词的相似度；

根据指定的损失函数、所述指定词与所述上下文词的相似度，以及所述指定词与各所述负样例词的相似度，确定所述指定词对应的损失表征值；

根据所述损失表征值，对所述上下文词的词向量和所述指定词对应的词干的词干向量进行更新。

7.如权利要求6所述的方法，所述根据所述损失表征值，对所述上下文词的词向量和所述指定词对应的词干的词干向量进行更新，具体包括：

根据所述损失表征值，确定所述损失函数对应的梯度；

根据所述梯度，对所述上下文词的词向量和所述指定词对应的词干的词干向量进行更新。

8.如权利要求6所述的方法，所述从所述各词中选择一个或多个词，作为负样例词，具体包括：

从所述各词中随机选择一个或多个词，作为负样例词。

9.如权利要求1所述的方法，所述根据所述词向量、所述词干向量，以及分词后的所述语料，对所述词向量和所述词干向量进行训练，具体包括：

对分词后的所述语料进行遍历，分别对分词后的所述语料中的词执行：

确定该词在分词后的所述语料中的一个或多个上下文词；

分别根据所述上下文词，执行：

根据该词对应的词干的词干向量，以及该上下文词的词向量，确定该词与该上下文词的相似度；

根据该词与该上下文词的相似度，对该上下文词的词向量和该词对应的词干的词干向量进行更新。

10.如权利要求9所述的方法，所述根据该词对应的词干的词干向量，以及该上下文词的词向量，确定该词与该上下文词的相似度，具体包括：

所述根据该词对应的词干的词干向量、该词的词向量，以及该上下文词的词向量，确定该词与该上下文词的相似度。

11.如权利要求9所述的方法，所述确定该词在分词后的所述语料中的一个或多个上下文词，具体包括：

在分词后的所述语料中，通过以该词为中心，向左和/或向右滑动指定数量个词的距离，建立窗口；

将所述窗口中该词以外的词确定为该词的上下文词。

12.如权利要求1～11任一项所述的方法，所述词为英文词。