[发明专利]文本相似度分析方法、装置和存储介质

说明书

本发明公开了文本相似度分析方法、装置和存储介质，方法包括以下步骤：获取第一文本和第二文本；根据第一文本、第二文本分别获取第一主题关键词集合和第二主题关键词集合；根据第一文本和第二文本，获取第一文本相对第二文本相似的第三句子的第一数量，以及获取第二文本相对第一文本相似的第四句子的第二数量；获取第一文本与第二文本的相似度分析结果，相似度分析结果包括主题关联度、内容相似度、第一文本相对第二文本的相似度、第二文本相对第一文本的相似度的至少两种。通过本发明使得相似度分析结果准确，即使是长文本和短文本的比对也能获得准确的相似度分析结果，适用性强。本发明可广泛应用于数据处理领域。

技术领域

本发明涉及数据处理领域，尤其是一种文本相似度分析方法、装置和存储介质。

背景技术

在自然语言处理(Natural Language Processing)中，经常会涉及到如何度量两个文本的相似度问题。例如对话系统、信息检索的问题，如何度量两个文本的相似度尤为重要。而目前，度量文本相似度的方法有将文本映射到向量空间，利用余弦相似度计算或者其他距离计算，或基于深度学习训练词向量，构造文本向量，利用余弦相似度计算。然而，现有方法适用性差，评判标准单一，不能准确对长文本和短文本进行相似度分析，例如，当A文档内容少时，与B文档进行相似度对比，得出的结果可能为50％，而当A文档内容非常多时，与B文档进行相似度对比得出的结果可能为80％，而该结果实际上可能仅仅是因为A文档包含的内容越多，而更有可能全部包含B文档的内容，也就是说实际上得出的两个文本的相似度分析结果不准确。

发明内容

有鉴于此，为了解决上述技术问题，本发明的目的是提供一种准确且适用性强的文本相似度分析方法、装置和存储介质。

本发明采用的技术方案是：文本相似度分析方法，包括以下步骤：

获取第一文本和第二文本，其中第一文本包括若干个第一句子，第二文本包括若干个第二句子；

根据第一文本获取第一文本的第一主题关键词集合，根据第二文本获取第二文本的第二主题关键词集合；

根据第一文本和第二文本，获取第一文本相对第二文本相似的第三句子的第一数量，以及获取第二文本相对第一文本相似的第四句子的第二数量；

获取第一文本与第二文本的相似度分析结果，相似度分析结果包括主题关联度、内容相似度、第一文本相对第二文本的相似度、第二文本相对第一文本的相似度的至少两种，具体地，相似度分析结果的获取步骤如下：

根据第一主题关键词集合和第二主题关键词集合，得到主题关联度；

根据第一主题关键词集合和第一数量，得到第一文本相对第二文本的相似度；

根据第二主题关键词集合和第二数量，得到第二文本相对第一文本的相似度；

根据第一主题关键词集合、第二主题关键词集合、第一数量和第二数量，得到内容相似度；

其中，第一句子包括第三句子、第二句子包括第四句子，第一主题关键词集合包括若干个第一主题关键词、第二主题关键词集合包括若干个第二主题关键词。

进一步，所述根据第一文本和第二文本，获取第一文本相对第二文本相似的第三句子的第一数量，以及获取第二文本相对第一文本相似的第四句子的第二数量的步骤中，包括以下步骤：

对每一第一句子进行分词处理、关键词提取和过滤，得到每一第一句子的第一关键词集合，以及对每一第二句子进行分词处理、关键词提取和过滤，得到每一第二句子的第二关键词集合，其中第一关键词集合包括至少一个第一关键词，第二关键词集合包括至少一个第二关键词；