[发明专利]一种文本相似度的计算方法、装置及存储介质

说明书

一种文本相似度的计算方法，应用于涉及计算机应用技术领域，包括：对待处理的两条文本分别进行分词处理，得到两个第一词汇集合，并基于两个第一词汇集合，计算两条文本的第一相似度；将两条文本分别输入至预置的N‑gram语言模型，得到两个第二词汇集合，并基于两个第二词汇集合，计算两条文本的第二相似度；按照预置的第一相似度的调节参数和第二相似度的调节参数，基于第一相似度和第二相似度，计算两条文本的相似度。本公开还提供了一种文本相似度的计算装置及存储介质。在以上过程中，计算文本相似度时既考虑了文本语义之间的相似程度，也考虑了文本用词的相似程度，使得对文本相似度的计算更加准确。

技术领域

本公开涉及计算机应用技术领域，尤其涉及一种文本相似度的计算方法、装置及存储介质。

背景技术

文本相似度是一种量化文本之间的相似程度的表示方式，近年来被广泛的应用于信息检索、文档复制检测、机器翻译、舆情监控等领域。

现有的计算文本相似度的技术中，利用空间向量模型方法将文本映射成为语义空间中的词向量，计算词向量之间的空间距离是现在计算文本相似度的通用做法。

现有的通过计算词向量间的距离表示文本相似度的方法是从语义的角度文本的相似性，一般没有考虑到文本所使用的词语的相似性，因此评价文本相似度的效果不太好。

发明内容

本公开的一个方面提供了一种文本相似度的计算方法，包括：对待处理的两条文本分别进行分词处理，得到两个第一词汇集合，并基于所述两个第一词汇集合，计算所述两条文本的第一相似度；将所述两条文本分别输入至预置的N-gram语言模型，得到两个第二词汇集合，并基于所述两个第二词汇集合，计算所述两条文本的第二相似度；按照预置的所述第一相似度的调节参数和所述第二相似度的调节参数，基于所述第一相似度和所述第二相似度，计算所述两条文本的相似度。

可选地，计算所述两个第一词汇集合之间的第一相似度包括：令所述两个第一词汇集合分别为A1和B1，所述两个第一词汇集合进行向量化处理得到的向量分别为和所述两条文本的第一相似度为score(A，B)_semantic，则：

可选地，将所述两条文本分别输入至预置的N-gram语言模型，得到两个第二词汇集合包括：将两条文本分别输入预置的N-gram语言模型，输出所述两个第二词汇集合，令所述两个第二词汇集合分别为A2和B2；比较所述两个第二词汇集合，获得A2中词语的总个数len(A2_{n_text})，B2中词语的总个数len(B2_{n_text})，所述两个第二词汇集合中相同的词语个数N_{n_text}，所述两个第二词汇集合中不重复的所有词语的个数len(A2∪B2)。

可选地，基于所述两个第二词汇集合，计算所述两条文本的第二相似度还包括：令所述两条文本的第二相似度为score(A，B)_text，则：

可选地，预置的第一相似度的调节参数和所述第二相似度的调节参数之和为1。

可选地，基于所述第一相似度和所述第二相似度，得出所述两条文本的相似度包括：令所述两条文本分别为A和B，所述预置的第一相似度的调节参数和所述第二相似度的调节参数分别为α和β，所述两条文本的相似度为sim(A，B)，则：

sim(A，B)＝α*score(A，B)_semantic+β*score(A，B)_text

可选地，两条文本存在于特定领域的语料库中，对所述两条文本分别进行分词处理，得到两个第一词汇集合包括：对所述特定领域的语料库中的所有文本进行分词处理，并去除停用词，得到所述特定领域的语料库中包含的所有词汇的集合；从所述所有词汇的集合中获取所述两个第一词汇集合。