[发明专利]词向量处理方法、装置以及电子设备

说明书

技术领域

本说明书涉及计算机软件技术领域，尤其涉及词向量处理方法、装置以及电子设备。

背景技术

如今的自然语言处理的解决方案，大都采用基于神经网络的架构，而在这种架构下一个重要的基础技术就是词向量。词向量是将词映射到一个固定维度的向量，该向量表征了该词的语义信息。

在现有技术中，常见的用于生成词向量的算法比如包括：谷歌公司的单词向量算法、微软公司的深度神经网络算法等。

基于现有技术，需要一种针对英文的更准确的词向量生成方案。

发明内容

本说明书实施例提供词向量处理方法、装置以及电子设备，用以解决如下技术问题：需要一种针对英文的更准确的词向量生成方案。

为解决上述技术问题，本说明书实施例是这样实现的：

本说明书实施例提供的一种词向量处理方法，包括：

对语料分词得到各词；

确定所述各词对应的词干；

建立并初始化所述各词的词向量，以及所述各词对应的词干的词干向量；

根据所述词向量、所述词干向量，以及分词后的所述语料，对所述词向量和所述词干向量进行训练。

本说明书实施例提供的一种词向量处理装置，包括：

分词模块，对语料分词得到各词；

确定模块，确定所述各词对应的词干；

初始化模块，建立并初始化所述各词的词向量，以及所述各词对应的词干的词干向量；

训练模块，根据所述词向量、所述词干向量，以及分词后的所述语料，对所述词向量和所述词干向量进行训练。

本说明书实施例提供的另一种词向量处理方法，包括：

步骤1，对语料分词，并建立通过所述分词得到的各词构成的词汇表，其中，所述各词不包括在所述语料中出现次数少于设定次数的词；跳转步骤2；

步骤2，根据所述词汇表，建立词干映射表，所述映射表包含所述各词与词干之间的映射关系；跳转步骤3；

步骤3，根据所述词干映射表，建立并初始化所述各词的词向量，以及所述各词映射的词干的词干向量；跳转步骤4；

步骤4，遍历分词后的所述语料，分别将遍历到的词作为当前词w并对当前词w执行步骤5，若遍历完成则结束，否则继续遍历；

步骤5，以当前词w为中心，向两侧分别滑动至多k个词建立窗口，遍历所述窗口中除当前词w以外的所有词，分别将遍历到的词作为当前词w的当前上下文词c并对当前上下文词c执行步骤6，若遍历完成则继续步骤4的执行，否则继续遍历；

步骤6，按照如下公式计算当前词w与当前上下文词c的相似度：

其中，q表示当前词w的词干，sim(w,c)表示当前词w与当前上下文词c的相似度；表示q的词干向量，表示w的词向量，表示c的词向量，表示针对两个向量的特定运算，所述特定运算为点积运算、或者夹角余弦运算、或者欧式距离运算；β₁、β₂为权重参数；β₁、β₂为权重参数；跳转步骤7；

步骤7，随机抽取λ个词作为负样例词，按照如下损失函数计算对应的损失表征值l(w,c)：

其中，c’是随机抽取的负样例词，而E_c'∈p(V)[x]是指随机抽取的负样例词c’满足概率分布p(V)的情况下，表达式x的期望值，σ(·)是神经网络激励函数，定义为

根据计算出的损失表征值l(w,c)计算所述损失函数对应的梯度，根据所述梯度，对q的词干向量和当前上下文词c的词向量进行更新。

本说明书实施例提供的一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

对语料分词得到各词；

确定所述各词对应的词干；

建立并初始化所述各词的词向量，以及所述各词对应的词干的词干向量；

根据所述词向量、所述词干向量，以及分词后的所述语料，对所述词向量和所述词干向量进行训练。

本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：由于词干可以刻画不同词性但是同源或者同义的词的语义相似度，进而有利于提高生成的英文词的词向量的准确度，实用效果较好，因此，可以部分或全部地解决上述技术问题。

附图说明