[发明专利]文本相似度的确定方法、装置和计算机可读存储介质

说明书

本公开涉及一种文本相似度的确定方法、装置和计算机可读存储介质，涉及人工智能技术领域。该方法包括：利用词向量计算第一文本中各词语与第二文本的相关程度作为第一相似度，第一文本的词语数量小于第二文本的词语数量；根据第一文本的词语数量，在第二文本中选取相应数量的词语作为目标词语；利用词向量计算各目标词语与第一文本的相关程度作为第二相似度；根据第一相似度、第二相似度和第二文本的长度，计算第一文本和第二文本的综合相似度。本公开的技术方案能够提高文本相似度的准确性。

技术领域

本公开涉及人工智能技术领域，特别涉及一种文本相似度的确定方法、文本相似度的确定装置和计算机可读存储介质。

背景技术

在人工智能领域，文本相似度的计算是弱人工智能的典型应用，是机器人与用户进行交互的基础。如何确定文本的相似度，是本领域热门研究方向之一。

在相关技术中，将目标文本中的词语与对比文本中的词语逐个比较，以确定文本相似度。

发明内容

本公开的发明人发现上述相关技术中存在如下问题：受文本长度影响较大，尤其在文本之间长度不同，或者文本之间具有包含关系的情况下，确定的文本相似度准确性较低。

鉴于此，本公开提出了一种确定文本相似度的技术方案，能够提高文本相似度的准确性。

根据本公开的一些实施例，提供了一种文本相似度的确定方法，包括：利用词向量计算第一文本中各词语与第二文本的相关程度作为第一相似度，所述第一文本的词语数量小于所述第二文本的词语数量；根据所述第一文本的词语数量，在所述第二文本中选取相应数量的词语作为目标词语；利用词向量计算各目标词语与所述第一文本的相关程度作为第二相似度；根据所述第一相似度、所述第二相似度和所述第二文本的长度，计算所述第一文本和所述第二文本的综合相似度。

在一些实施例中，计算所述第一文本中词语的词向量与所述第二文本中各词语的词向量之间的向量距离；将所有所述向量距离中最小的一个作为该词语的相关系数；根据所述第一文本中所有词语的相关系数的加权和，确定所述第一相似度。

在一些实施例中，将所述第一文本的词语数量与所述第二文本的词语数量的差值作为目标数量；在所述第二文本中选取所述目标数量的词语作为所述目标词语。

在一些实施例中，在所述第二文本中选取最后N个词语作为所述目标词语，N为所述目标数量。

在一些实施例中，计算所述第二文本中目标词语的词向量与所述第一文本中各词语的词向量之间的向量距离；将所有所述向量距离中最小的一个作为该目标词语的相关系数；根据所述第二文本中所有目标词语的相关系数的加权和，确定所述第二相似度。

在一些实施例中，所述综合相似度与所述第一相似度和所述第二相似度的加权和正相关，与所述第二文本的长度负相关。

根据本公开的另一些实施例，提供一种计算单元，用于利用词向量计算第一文本中各词语与第二文本的相关程度作为第一相似度，所述第一文本的词语数量小于所述第二文本的词语数量，利用词向量计算各目标词语与所述第一文本的相关程度作为第二相似度，根据所述第一相似度、所述第二相似度和所述第二文本的长度，计算所述第一文本和所述第二文本的综合相似度；选取单元，用于根据所述第一文本的词语数量，在所述第二文本中选取相应数量的词语作为所述目标词语。

在一些实施例中，所述计算单元计算所述第一文本中词语的词向量与所述第二文本中各词语的词向量之间的向量距离，将所有所述向量距离中最小的一个作为该词语的相关系数，根据所述第一文本中所有词语的相关系数的加权和，确定所述第一相似度。

在一些实施例中，所述选取单元将所述第一文本的词语数量与所述第二文本的词语数量的差值作为目标数量，在所述第二文本中选取所述目标数量的词语作为所述目标词语。