[发明专利]文本查重处理方法、装置、计算机设备及计算机存储介质

权利要求书

1.一种文本查重处理方法，其特征在于，包括：

获取待查重文本对应的词语分数表，所述词语分数表中含有所述待查重文本的所有目标词语以及与目标词语对应的词语分数值，其中，所述目标词语表征所述待查重文本的内容信息，所述词语分数值表征目标词语对文本相似度评定的影响程度；

结合所述词语分数表，按照词语级别对所述待查重文本和保存于历史文本数据库中的历史文本进行比对计算，以获得所述待查重文本与所述历史文本之间的相似度；

将所述相似度与预设的相似度阈值进行比较，根据比较结果评定所述待查重文本是否为重复文本。

2.根据权利要求1所述的文本查重处理方法，其特征在于，所述获取待查重文本对应的词语分数表的步骤之前，还包括：

对保存于历史文本数据库中的历史文本进行分词处理，以获得表征历史文本内容的第一词语，其中，所述第一词语表征历史文本的内容信息；

识别所述第一词语在所述历史文本中的出现次数以及所述第一词语对应的字节长度；

结合所述第一词语的出现次数和字节长度，按照预设的算法规则计算出所述第一词语对应的词语分数值；

将所述第一词语对应的词语分数值与所述第一词语进行关联，以构建出与所述历史文本数据库对应的第一词语-词语分数值对应关系表。

3.根据权利要求2所述的文本查重处理方法，其特征在于，所述结合所述第一词语的出现次数和字节长度，按照预设的算法规则计算出所述第一词语对应的词语分数值的步骤中，计算所述词语分数值时所采用的公式为：

其中，F_(x)为按照第一词语在历史文本中的出现次数由高至低进行排序后，排序序号为x的第一词语所对应的词语分数值；A为最高基础分值，即按照第一词语在历史文本中的出现次数由高至低进行排序后，排序在最后一位的第一词语所对应的基础分值；x为按第一照词语在历史文本中的出现次数对词语由高至低排序后，第一词语所对应的排序序号；N为历史文本数据库中的第一词语的个数；L_(x)为排序序号为x的第一词语所对应的字节长度。

4.根据权利要求3所述的文本查重处理方法，其特征在于，所述对保存于历史文本数据库中的历史文本进行分词处理，以获得表征历史文本内容的第一词语，其中，所述第一词语表征历史文本的内容信息的步骤之前，还包括：

对所述保存于历史文本数据库中的历史文本进行分类处理，以按照所述历史文本的类别分别构建对应的第一词语-词语分数表。

5.根据权利要求1所述的文本查重处理方法，其特征在于，所述结合所述词语分数表，按照词语级别对所述待查重文本和保存于历史文本数据库中的历史文本进行比对计算，以获得所述待查重文本与所述历史文本之间的相似度的步骤，包括：

按照词语级别比对所述待查重文本和保存于历史文本数据库中的历史文本，提取出同时存在于所述待查重文本和所述历史文本中的第一目标词语；

分别统计所述第一目标词语在所述待查重文本中的出现次数和在所述历史文本中的出现次数；

根据所述第一目标词语在所述待查重文本中的出现次数和在所述历史文本中的出现次数生成与所述第一目标词语对应的用于计算所述待查重文本与所述历史文本之间相似度的第一影响因子；

根据所述第一影响因子和从词语分数表中获得的所述第一目标词语对应的词语分数值计算出所述第一目标词语对应的贡献分数值，其中，所述贡献分数值为所述第一目标词语在评定所述待查重文本与所述历史文本之间的相似度时所贡献的分数值；

结合所有同时存在于所述待查重文本和所述历史文本中的第一目标词语对应的贡献分数值进行求和计算，以获得所述待查重文本与所述历史文本之间的相似度。