[发明专利]基于语义关系约束的词向量修正方法及计算系统

权利要求书

1.一种基于语义关系约束的词向量修正方法及计算系统，其特征在于，包括以下步骤：

WordNet、Roget语义词典中抽取对称关系的同义词、反义词约束集；

提取非对称关系的直接上位/下位词约束集；

构建词嵌入向量更新模型和损失函数；

执行同义词拉近函数、反义词推远函数及直接上位/下位词拉近函数对词嵌入向量进行更新；

根据更新后词嵌入向量对输入词汇初始化；

根据相似性定理计算词汇相似性并输出结果。

2.根据权利要求1所述的基于语义关系约束的词向量修正方法及计算系统，其特征在于，所述的WordNet、Roget语义词典中抽取对称关系的同义词、反义词约束集，名词、动词、形容词和副词在语义词典中均各自被组织成一个具有对称关系的同义词的网络和反义词网络，每个同义词集合和反义词集都代表一个基本的语义概念。

3.根据权利要求1所述的基于语义关系约束的词向量修正方法及计算系统，其特征在于，所述的提取非对称关系的直接上位/下位词约束集，由于语义关系传递自身存在似然性，随着语义传递路径长度的增长，语义传递的有效性逐渐降低，概念相似性也更模糊。在WordNet IS-A和PART-OF的语义网络层次(Hierarchy)体系中，随着网络路径距离的增加，概念间的语义域重叠度也会相应降低，不同领域的概念密切程度也会逐渐稀疏。因此，当两个词汇为相邻的直接上位/下位关系时，两者之间的相似性更高。

4.根据权利要求1所述的基于语义关系约束的词向量修正方法及计算系统，其特征在于，所述的构建词嵌入向量更新模型和损失函数，使用直接上位词约束集建立新型语义约束条件并构建修正模型，提升了神经网络词嵌入向量的语义表达能力。假设取GloVeCommon Crawl-300D词嵌入向量进行修正，首先获取词嵌入向量词典，注入的外部语言约束集包括同义词约束集，反义词约束集以及直接上位/下位词约束集。模型优化过程中分别对同义词约束集、反义词约束集、直接上位/下位词约束集进行小批量训练，令具有同义词关系的词对之间的距离更近，具有反义词关系的词对之间的距离更远，而直接上位/下位词关系的单词对之间的距离更加接近，拉近及推远的范围由定义的损失函数来控制。

5.根据权利要求1所述的基于语义关系约束的词向量修正方法及计算系统，其特征在于，所述的执行同义词拉近函数、反义词推远函数及直接上位/下位词拉近函数对词嵌入向量进行更新；同义词拉近采用铰链函数判断同义词集向量之间彼此拉近的界值，反义词推远函数与此同理；为保留初始向量空间中的高质量的语义信息，每个小批量处理中的词向量，当该信息与上述注入的语言约束一致时，使用L2正则化方法来进行处理；直接上位/下位关系作为非对称语言约束，在修正分布式词向量过程中的顺序是至关重要的。将直接上位/下位关系优化方式与前述函数相同，采用欧几里德范数作为非对称距离函数来重新缩放词向量，以反映上位/下位词汇之间的关系。采用以上定义的损失函数执行词嵌入向量。

6.根据权利要求1所述的基于语义关系约束的词向量修正方法及计算系统，其特征在于，所述的根据更新后词嵌入向量对输入词汇初始化，所要计算的相似性词汇的形式可以是任意的，如在词汇语义相似性计算系统的窗口中键入目标词汇，或将目标词汇统一整理成表格形式输入系统中进行计算；输入后的词汇在更新后的词向量检索对应向量值并进行初始化。

7.根据权利要求1所述的基于语义关系约束的词向量修正方法及计算系统，其特征在于，所述根据相似性定理计算词汇相似性并输出结果，词汇语义相似性计算方法主要包含：

(1)余弦距离(Cosine Distance)

(2)欧式距离(Euclidean Distance)

(3)曼哈顿距离(Manhattan Distance)

(4)明可夫斯基距离(Minkowski Distance)

根据上述任意语义相似性度量方法均可计算输出词汇相似值。