[发明专利]句子相似度计算方法和装置

说明书

本发明公开了句子相似度计算方法和装置。通过将两个句子分别进行分词处理，在将分词处理后的得到句子分子与词向量进行匹配，得到对应的两个词向量列表，之后，将两个词向量列表中的词语两两计算相似度值，得到m×n个词向量对的相似度值，根据相似度值从大到小进行排列，然后根据相似度值从大到小对m×n个词向量对的相似度值进行加权平均计算得到两个句子的相似度结果，因此，本发明实施例中不存在根据词向量列表生成对应句子向量的步骤，可以克服现有技术中根据词向量列表生成句子向量过程中存在信息损失的问题。

技术领域

本发明涉及语言信息处理技术领域，尤其涉及一种句子相似度计算方法 和装置。

背景技术

文本相似度计算在自然语言处理领域是一个重要部分，在信息检索，文 档分类，问答系统等有重要的作用。文本相似度根据文本长度又可以分为长 文本(篇章级别)，短文本(语句级别，词语级别)相似度计算。长度不同的文本 使得各种计算方法各有优劣。对于句子级别的相似度，不仅要考虑到句子内 各个词语的含义，还要考虑到词语组合的顺序，使得该类研究比较复杂。

传统计算句子相似度方法主要是仅仅考虑句子文本的编辑距离 (Levenshtein距离)，该类计算方法没有考虑到词语的含义，进而计算句子相 似度会存在不正确的问题；另一种方法时根据词语向量生成句子向量，然后 计算句子向量之间的相似性，会导致在句子向量生成的过程中的信息损失。

发明内容

为了解决上述问题，本发明提供一种句子相似度计算方法和装置，直接 利用词向量计算句子相似度，既考虑了语义信息，又避免了信息损失。

本发明提供一种句子相似度计算方法，包括：

分别获取第一词向量列表和第二词向量列表，所述第一词向量列表中包 括第一句子中m个分词的词向量，所述第二词向量列表中包括第二句子中n 个分词的词向量，m、n为大于1的自然数；

将所述第一词向量列表中的每个分词的词向量和所述第二词向量列表中 的每个分词的词向量进行相似度计算，得到m乘以n个词向量对的相似度值；

对m乘以n个词向量对的相似度值进行加权平均得到的相似度值为所述 第一句子和第二句子的相似度。

可选地，分别获取第一词向量列表和第二词向量列表，包括：

分别对所述第一句子和第二句子进行分词处理，得到第一分词列表和第 二分词列表，所述第一分词列表中包括m个分词，所述第二分词列表中包括 n个分词；

分别将所述第一分词列表和所述第二分词列表中的每个分词与预设的词 向量模型进行匹配得到所述第一词向量列表和所述第二词向量列表。

可选地，所述词向量模型是利用word2vec算法，对预先建立的语料库进 行训练，得到所述语料库中所有词语的向量构成的词向量模型。

可选地，将所述第一词向量列表中的每个分词的词向量和所述第二词向 量列表中的每个分词的词向量进行相似度计算，包括：

根据词向量之间的余弦相似度计算方法，对所述第一句子中任一个分词 w_i的词向量和所述第二句子中任一个分词w_j的词向量进行相似度计算， 得到所述第一句子中分词w_i和所述第二句子中分词w_j之间的相似度值。

可选地，对m乘以n个词向量对的相似度值进行加权平均得到的相似度 值为所述第一句子和第二句子的相似度，包括：

对所述m乘以n个词向量对的相似度值根据相似度值从大到小进行排序；

对排序后的m乘以n个词向量对的相似度值进行加权平均。

可选地，所述的方法还包括：