[发明专利]一种基于词向量的短文本语义相似度计算方法

说明书

本发明公开了一种基于词向量的短文本语义相似度计算方法，涉及短文本相似度技术领域，包括对获取的语料库进行分词，并对分词进行词向量模型处理，构建词向量库；对样本集中的两个短文本进行分词，并提取文本特征集合；计算样本集中的两个短文本的文本特征集合中各文本特征的相似度，选择最优相似度集合，并计算最优相似度集合中的各相似度的权重；以最优相似度集合中各相似度为计算项，对待测的两个短文本的各文本特征的相似度加权求和。本发明的基于词向量的短文本语义相似度计算方法，提取待测文本的词性特征、语意特征和文本结构特征，从中选择最优相似度集合进行匹配计算短文本语义相似度，提高短文本语义相似度计算的精度。

技术领域

本发明涉及短文本相似度技术领域，具体涉及一种基于词向量的短文本语义相似度计算方法。

背景技术

随着计算机科学技术和互联网的迅猛发展，各类信息资料的数量以惊人的速度增长，越来越多的数据以短文本的形式出现在互联网上。许多研究都表明短文本相似度计算能促进许多自然语言处理任务，克服语料库中的信息冗余，如事件检测，信息检索，文本正规化，自动文本摘要，文本分类和聚类等。

目前，短文本相似度的计算方法大多是直接利用原始短文本集合丰富的词对信息进行特征提取，这样可能会放大噪音特征产生的不利影响，因此具有很大的局限性，不能准确地表达短文本的语义含义。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种基于词向量的短文本语义相似度计算方法，提高短文本语义相似度计算的精度。

为达到以上目的，本发明采取的技术方案是：一种基于词向量的短文本语义相似度计算方法，包括以下步骤：

获取语料库，对语料库进行分词，并对分词进行词向量模型处理，生成每个词的词向量，然后构建词向量库；

对样本集中的两个短文本进行分词，并提取文本特征集合，文本特征集合包括词性特征、语意特征和文本结构特征；

从词向量库中找到词性特征对应的词向量、语意特征对应的词长向量以及文本结构特征对应的词向量，并找出文本结构特征对应的最长公共子串；

根据词性特征对应的词向量、语意特征对应的词长向量、文本结构特征对应的词向量和最长公共子串，计算样本集中的两个短文本的文本特征集合中各文本特征的相似度，从各文本特征的相似度中选择超过阈值的相似度形成最优相似度集合，并计算最优相似度集合中的各相似度的权重；

以最优相似度集合中各相似度为计算项，计算待测的两个短文本的各文本特征的相似度，然后对各文本特征的相似度加权求和得出短文本语义相似度。

在上述技术方案的基础上，对语料库进行分词后还需进行数据清理，得到语料库中的中文分词。

在上述技术方案的基础上，词向量模型为word2vec模型。

在上述技术方案的基础上，构建词向量库的具体方法为：将word2vec模型生成的词向量写入Mysql数据库中，并对分词建立相应的索引。

在上述技术方案的基础上，选择最优相似度集合的具体方法为：样本集包括训练样本和测试样本，利用训练样本的两个短文本的各文本特征相似度分布建立混合高斯模型，每个高斯模型对应一个文本特征相似度，利用期望最大化算法估算各文本特征相似度分布的混合高斯模型参数，然后将测试样本输入混合高斯模型，计算实际相似度和理论相似度的欧式距离，去掉欧式距离大于预设阈值的文本特征的相似度，余下的为最优相似度集合。

在上述技术方案的基础上，词性特征的相似度包括：名词相似度、时间词相似度、动词相似度、数词相似度、介词相似度和量词相似度。

在上述技术方案的基础上，语意特征对应的词长向量是将短文本的主干词串联，结合相应的词向量，构成的词长向量。