[发明专利]文本相似度分析方法、装置和存储介质

权利要求书

1.文本相似度分析方法，其特征在于，包括以下步骤：

获取第一文本和第二文本，其中第一文本包括若干个第一句子，第二文本包括若干个第二句子；

根据第一文本获取第一文本的第一主题关键词集合，根据第二文本获取第二文本的第二主题关键词集合；

对每一第一句子进行分词处理、关键词提取和过滤，得到每一第一句子的第一关键词集合，以及对每一第二句子进行分词处理、关键词提取和过滤，得到每一第二句子的第二关键词集合，其中第一关键词集合包括至少一个第一关键词，第二关键词集合包括至少一个第二关键词；

根据每一第一关键词集合、每一第二关键词集合，得到每一第一关键词集合与每一第二关键词集合的第一关键词和第二关键词相同的第三数量、每一第一关键词集合相对每一第二关键词集合的第一关键词与第二关键词不相同的第四数量，以及每一第二关键词集合相对每一第一关键词集合的第二关键词与第一关键词不相同的第五数量；

若第三数量大于或等于第一预设阈值，且第四数量小于第二预设阈值，则将第一句子作为一个第三句子，并在每一第一关键词集合与每一第二关键词集合两两对比后，得到所有初步判定的第三句子；通过预设长度的滤波窗口对所有初步判定的第三句子进行滤波处理，并在滤波处理后，统计所有第三句子的数量，得到第一数量，其中，所述第三句子是第一文本相对第二文本相似的句子；

若第三数量大于或等于第一预设阈值，且第五数量小于第二预设阈值，则将第二句子作为一个第四句子，并在每一第二主题关键词集合与每一第一主题关键词集合两两对比后，得到所有初步判定的第四句子；通过预设长度的滤波窗口对所有初步判定的第四句子进行滤波处理，并在滤波处理后，统计所有第四句子的数量，得到第二数量，其中，所述第四句子是第二文本相对第一文本相似的句子；

其中，所述通过预设长度的滤波窗口对所有初步判定的第三句子进行滤波处理，包括：

将滤波窗口的预设长度确定为5；

根据第三句子的长度和位置在第一文本中筛选出与第二文本不相似，且满足前后均有两个初步判定的第三句子的第一句子，并对所述筛选出的第一句子进行滤波处理，得到新增的第三句子；

获取第一文本与第二文本的相似度分析结果，相似度分析结果包括主题关联度、内容相似度、第一文本相对第二文本的相似度、第二文本相对第一文本的相似度的至少两种，具体地，相似度分析结果的获取步骤如下：

根据第一主题关键词集合和第二主题关键词集合，得到主题关联度；

根据第一主题关键词集合和第一数量，得到第一文本相对第二文本的相似度；

根据第二主题关键词集合和第二数量，得到第二文本相对第一文本的相似度；

根据第一主题关键词集合、第二主题关键词集合、第一数量和第二数量，得到内容相似度；

其中，第一句子包括第三句子、第二句子包括第四句子，第一主题关键词集合包括若干个第一主题关键词、第二主题关键词集合包括若干个第二主题关键词。

2.根据权利要求1所述文本相似度分析方法，其特征在于：所述根据第一主题关键词集合和第二主题关键词集合，得到主题关联度的步骤中，具体为：

根据第一主题关键词集合与第二主题关键词集合，得到第一主题关键词和第二主题关键词相同的第六数量；

根据第六数量在第一主题关键词集合中的占比，第六数量在第二主题关键词集合中的占比，以及根据第六数量进行标准化后的标准化结果，得到主题关联度；

其中，第六数量在第一主题关键词集合中的占比、第六数量在第二主题关键词集合中的占比以及标准化结果与主题关联度呈正相关。

3.根据权利要求1所述文本相似度分析方法，其特征在于：所述根据第一主题关键词集合和第一数量，得到第一文本相对第二文本的相似度的步骤中，具体为：

根据第一主题关键词集合与第二主题关键词集合，得到第一主题关键词和第二主题关键词相同的第六数量；

根据第六数量在第一主题关键词集合中的占比、第一句子的数量、第一数量，得到第一文本相对第二文本的相似度；

其中，第六数量在第一主题关键词集合中的占比、第一数量与第一文本相对第二文本的相似度呈正相关，第一句子的数量与第一文本相对第二文本的相似度呈负相关。