[发明专利]生成词向量的方法、装置、计算机存储介质和电子设备

说明书

本申请提供一种生成词向量的方法、装置、计算机存储介质和电子设备，获得每一语句中的目标文本单元的上下文窗口的关联文本单元组成的关联文本，利用文档主题生成模型挖掘所有关联文本组成的文本集合得到每一个语句的目标文本单元对应的主题分布向量，为主题分布向量相似度较高的目标文本单元配置相同语义标签，为主题分布向量相似度较低的目标文本单元配置不同语义标签，用添加语义标签后的训练语料集训练词向量模型，得到每一种语义标签的词向量。目标文本单元对应的主题分布向量可以反映目标文本单元的语境，通过主题分布向量的相似度的高低可以区分不同语句中目标文本单元的语义，并基于区分的结果训练词向量模型，以获得不同语义的词向量。

技术领域

本发明涉及自然语言处理技术领域，特别涉及一种生成词向量的方法、装置、计算机存储介质和电子设备。

背景技术

自然语言处理是人工智能领域中的一个重要方向，该方向通常涉及情感分析，智能问答系统和机器翻译等任务。而计算机程序无法直接处理自然语言中的字或词，为了使计算机理解自然语言，一个必要的环节就是用对应的词向量表示自然语言包含的每个字或词，以便后续通过处理词向量实现以上任务。

现有技术一般是直接利用一个语料集合(其中包含多个句子)对现有的词向量(Word2Vec)模型进行训练，从而获得语料集合中的字或词对应的词向量。但是，自然语言中存在多义词，即一个词在不同语境下可以表示不同语义，而现有的方法对一个词只能生成唯一的词向量，无法反映多义词的不同语义，导致后续基于词向量实现的自然语言处理任务准确性较差。

发明内容

基于上述现有技术的缺点，本申请提供一种生成词向量的方法、装置、计算机存储介质和电子设备，以针对多义词的不同语义提供对应的词向量。

本申请第一方面提供一种生成词向量的方法，包括：

获得包括多个语句的训练语料集；其中，每一个所述语句均包括预先指定的目标文本单元，所述目标文本单元包含至少一个连续的文字；

针对训练语料集中的每一个语句，抽取所述语句的目标文本单元的上下文窗口中的每一个实体文本单元，并从文本数据库中获取除所述目标文本单元以外的每一个所述实体文本单元的关联文本单元；

利用文档主题生成模型挖掘包括每一个所述目标文本单元的上下文窗口的关联文本的文本集合，得到每一个所述目标文本单元的上下文窗口对应的主题分布向量；其中，一个所述目标文本单元的上下文窗口的关联文本包括：所述上下文窗口中的每一个实体文本单元的关联文本单元；

为所述训练预料集的每一个所述语句中的所述目标文本单元配置对应的语义标签，得到携带语义标签的目标文本单元；其中，对应的主题分布向量的相似度大于或等于相似度阈值的两个目标文本单元携带的语义标签相同，对应的主题分布向量的相似度小于所述相似度阈值的两个目标文本单元携带的语义标签不同；

用添加语义标签后的训练语料集训练词向量模型，并从训练后的词向量模型中获得所述训练语料集的每一个所述文本单元的词向量；其中，所述目标文本单元对应有多个词向量，且每一个所述词向量唯一对应于一种所述语义标签。

可选的，所述用添加语义标签后的训练语料集训练词向量模型，包括：

生成待训练的词向量模型和每一个所述文本单元的编码；其中，所述词向量模型包括每一个所述文本单元对应的初始词向量和多个参数向量；携带的所述语义标签相同的两个所述目标文本单元的编码相同，携带的所述语义标签不相同的两个所述目标文本单元的编码不同；

对所述添加语义标签后的训练语料集中的每一个所述文本单元执行下述训练过程：

获得所述文本单元的上下文窗口内其他文本单元的词向量；

若所述文本单元不是携带语义标签的目标文本单元，对所述上下文窗口包含的其他文本单元的词向量累加得到计算结果；