[发明专利]词向量处理方法及装置、存储介质及电子设备

说明书

本公开提供一种词向量处理方法、装置、存储介质及电子设备，涉及自然语言处理技术领域。词向量处理方法包括：获取目标文本中待处理词和待处理词的上下文信息；初始化词向量编码模型的输入层到隐藏层的第一权重矩阵，词向量编码模型用于生成待处理词的词向量；根据第一权重矩阵、待处理词的上下文信息和上下文信息中每个词对应的字相关性参数，确定词向量编码模型中隐藏层向量；字相关性参数表征一个词中多个字向量之间的相关性；根据隐藏层向量，对第一权重矩阵进行调整，得到调整后的第一权重矩阵；根据调整第一权重矩阵后的词向量编码模型，生成待处理词的词向量。本公开考虑了组成词的多个字之间的紧密联系程度，生成的词向量更为准确。

背景技术

词向量(Word embedding)，又叫Word嵌入式自然语言处理(NLP)中的一组语言建模和特征学习技术的统称，其中来自词汇表的单词或短语被映射到实数的向量。从概念上讲，它涉及从每个单词一维的空间到具有更低维度的连续向量空间的数学嵌入。词向量的训练结果好坏直接影响到后续的自然语言处理任务的处理效果。

但主流词向量训练算法，都是针对英文的语料特点设计出来的，对于中文语料的训练结果并不理想，即中文语料训练得到的词向量不够准确，使得后续利用训练好的词向量进行聚类分析等处理时，不能够很好地识别语义。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供一种词向量处理方法及相关设备，至少在一定程度上克服相关技术中文语料训练得到的词向量不够准确的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供了一种词向量处理方法，包括：

获取目标文本中待处理词和所述待处理词的上下文信息；

初始化词向量编码模型的输入层到隐藏层的第一权重矩阵，其中，所述词向量编码模型用于生成所述待处理词的词向量；

根据所述第一权重矩阵、所述待处理词的上下文信息和上下文信息中每个词对应的字相关性参数，确定所述词向量编码模型中隐藏层向量；所述字相关性参数表征一个词中多个字向量之间的相关性；

根据所述词向量编码模型中隐藏层向量，对第一权重矩阵进行调整，得到调整后的第一权重矩阵；

根据调整第一权重矩阵后的词向量编码模型，生成所述待处理词的词向量。

在一些实施例中，获取目标文本中待处理词和所述待处理词的上下文信息，包括：

获取待处理的目标文本；

对所述目标文本进行分词，得到多个按照目标文本语序排列的分词；

从多个所述分词中选取待处理词，确定所述待处理词的上下文信息。

具体实施例中，根据所述词向量编码模型中隐藏层向量，对第一权重矩阵进行调整，得到调整后的第一权重矩阵，包括：

初始化所述词向量编码模型的隐藏层到输出层的第二权重矩阵；

基于所述词向量编码模型中隐藏层向量和所述第二权重矩阵，确定所述词向量编码模型的输出层概率分布；

根据所述词向量编码模型中输出层概率分布，对所述第一权重矩阵和所述第二权重矩阵进行调整，得到调整后的第一权重矩阵。

在一些实施例中，根据所述第一权重矩阵、所述待处理词的上下文信息和上下文信息中每个词对应的字相关性参数，确定所述词向量编码模型中隐藏层向量，包括：

根据所述待处理词的上下文信息，确定所述待处理词的上文词和下文词；