[发明专利]一种利用语义信息计算文本相似度的方法

说明书

本发明提供了一种利用语义信息计算文本相似度的方法，具体而言，该方法包括：将给定的文本进行分词处理得到对应的词序列，然后将上述词序列中的每个单词对应于训练好的词向量取出形成词向量序列，进一步确定给定文本中词序列的关键词，形成关键词序列；判定所述文本中的词是否属于关键词序列并分别赋予不同的权重；在获取了词向量和对应权重的基础上，将句子的词向量与权重值进行加权求和得到语义向量序列，最后利用文本间的语义向量的夹角余弦表示不同文本的相似度。该方法充分考虑了文本中每个词在文本相似度计算中的作用，强调每个词对相似度的贡献的区别，从语义的角度重新定义了求不同文本相似度的方法。

技术领域

本发明涉及文本相似度计算领域，具体而言，涉及一种充分利用文本中词语语义信息来计算文本相似度的方法。

背景技术

文本相似度计算即计算两个给定文本在语义上的近似程度。文本相似度计算在NLP(自然语言处理)领域中具有十分重要的科研价值和应用价值，其广泛应用于社区问答系统、聊天机器人、机器翻译、文本分类、词义排歧以及信息检索等。

传统文本相似度计算方法主要从词汇、语义、句法方面计算文本的相似度：基于词汇的方法利用两个文本中相同词汇的占比来衡量文本的相似度程度；基于语义的方法利用外部语义词典计算文本相似度；基于句法的方法借助文本编辑距离或句法树计算文本相似度。

深度学习模型在解决这一问题时，要么将两个文本抽象成同一空间的向量考虑，要么将两文本的词相似矩阵当成是图像中的点像素处理。

文本相似度计算的难点在于如何合理的表示句子的语义信息，传统方法最大的缺陷在于没有合理利用词汇的语义信息来表示句子。基于深度学习的方法虽然较好的利用了词汇的语义信息来表示句子，但训练语料的大小很大程度上影响了模型的性能，高成本的标记语料极大的限制了深度学习模型的实际应用。

发明内容

本发明的目的在于提供一种利用了语义信息的计算文本相似度的方法，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

本发明表示句子语义信息时利用了包含更多信息的词向量，且在句子的向量化表示过程中并没有对词向量直接求和而是在为其分配了不同的权重后求和，这样不仅考虑了每个词在计算文本相似度中的作用，也强调了不同的词的贡献是有差异的。

相对于传统文本相似度计算方法，本发明更加合理的表示句子语义，且更容易减少未登录词对文本相似度计算的影响。相对于深度学习方法，本发明不需要借助大规模的标记语料，也无需大量的训练时间。本发明更简单，适用性更强，更适合大规模使用。

本发明提供一种利用语义信息计算文本相似度的方法其特征在于，该方法包括如下步骤：

将给定的第一文本S₁和第二文本S₂分别进行分词处理，得到对应于第一文本S₁的第一词序列W₁和对应于第二文本S₂的第二词序列W₂；

将所述第一词序列W₁中的每个词对应于skip-gram中训练好的词向量取出形成第一词向量序列V₁；

将所述第二词序列W₂中的每个词对应于skip-gram中训练好的词向量取出形成第二词向量序列V₂；

进一步计算第一文本S₁和第二文本S₂的关键词序列，得到第一关键词序列K₁和第二关键词序列K₂；