[发明专利]一种获取词语相关度的方法及装置

说明书

本发明提供一种获取词语相关度的方法及装置，涉及通信领域。该获取词语相关度的方法包括：构建基于同义词词林的词向量集合，其中所述同义词词林中记录了预定词语和所述预定词语的标识编码集；根据所述同义词词林，分别获取第一目标词语的第一标识编码集和第二目标词语的第二标识编码集；根据所述第一标识编码集、所述第二标识编码集和所述词向量集合，获得所述第一目标词语和所述第二目标词语的目标相关度。本发明的方案，解决了现有的语义相关度计算方法，对于同义词、低频同现词和一词多义的情况下，会出现相关度计算结果不准确的问题。

技术领域

本发明涉及通信领域，特别是指一种获取词语相关度的方法及装置。

背景技术

计算机和互联网技术的飞速发展使得网络上的数据资源呈指数级增长，这些数据信息对于计算机来说非常难于理解和应用，而人们又希望从中迅速有效地获取所需要的信息，所以对信息的智能、自动化的处理需求越来越迫切，这些自动处理的核心问题之一是语义相关度计算问题。

语义相关度是表示两个词语相关程度的一个概念，它反映的是词语的关联程度。和语义相关度相对应的是语义相似度，表示各概念间的相似程度，即两个概念本身之间具有某些共同特性。例如，汽车和自行车都继承于车这个概念，即具有车这个概念的共同特性。所以，汽车和自行车两个概念是相似的。而汽车和汽油两个概念并没有共同的父概念，但两个概念却有紧密联系，是相关的。因此语义相关度在范围上包含语义相似度，两个概念之间相似，则一定相关；两个概念相关，却不一定相似。

语义相关度计算作为自然语言处理领域的重要研究方向，是语义网、信息检索、数据挖掘、信息集成、知识管理、文本分类、词义消歧、基于实例的机器翻译等多种自然语言处理技术的重要基础，因此语义相关度的研究具有很重要的意义。目前，语义相关性计算方面的研究主要为基于词向量模型的语义相关度计算方法。

基于词向量模型的语义相关度计算方法，通过对语料库(如wiki语料库、Google语料库和Sogou语料库等)进行分词，然后结合词语的邻域利用深度学习算法为每个分词后的词语训练一个固定维数的实向量，然后利用向量之间的余弦距离作为词汇之间相关度的衡量标准。其中词向量模型中，最为知名的是word2vec模型。word2vec是Google推出的一款基于Deep Learning的开源的学习工具。word2vec通过在给定语料库上训练一个模型，将单词转换成向量形式的工具。词向量具有良好的语义特性，是表示词语特征的常用方式。词向量每一维的值代表一个具有一定的语义和语法上解释的特征。通过词向量训练，可以把对文本内容的处理简化为向量空间中的向量运算，计算出向量空间上词与词之间的相关度，来表示词语语义上的相关度。word2vec常用的训练模型为连续词袋CBOW。CBOW基于神经网络模型，包含输入层、投影层和输出层，通过上下文来预测当前词。

然而，基于word2vec词向量模型的语义相关度计算方法，对于同义词、低频同现词和一词多义的情况下，会出现相关度计算结果不准确的问题，如下表1、表2和表3所示。

表1