[发明专利]文本消重系统、方法、服务器及计算机存储介质

权利要求书

1.一种文本消重系统，包括：

预处理模块，用于对待消重的各个文本进行预处理，根据预处理结果确定各个文本对应的关键词；

存储模块，用于存储所述预处理模块预处理后的各个文本，并设置用于查询各个文本的倒排索引表；其中，所述倒排索引表用于存储各个关键词及其对应的文本之间的映射关系；

消重模块，用于从所述存储模块中获取至少一个待消重文本，确定所述待消重文本对应的关键词，通过所述倒排索引表确定包含所述待消重文本对应的关键词的至少一个待比对文本，针对所述待消重文本以及所述待比对文本进行消重处理；

所述消重模块进一步包括多个计算子模块，其中，每个计算子模块具体用于：每当获取到所述待消重文本以及所述待比对文本后，将所述待消重文本以及所述待比对文本分发给其他计算子模块；

接收其他计算子模块针对分发到的文本进行局部消重处理后返回的局部消重处理结果，根据所述局部消重处理结果确定最终消重处理结果；

分布式锁模块，用于在所述消重模块进行消重处理前，通过分布式锁对所述存储模块中存储的所述待消重文本以及所述待比对文本进行加锁操作；并在所述消重模块进行消重处理后释放所述分布式锁。

2.根据权利要求1所述的系统，其中，所述存储模块具体为多个分布式存储模块，用于通过一致性哈希算法对预处理后的各个文本进行分布式存储。

3.根据权利要求1所述的系统，其中，所述消重模块进一步用于：为确定为重复的文本设置重复标签。

4.根据权利要求3所述的系统，其中，所述消重模块进一步用于：根据文本的文本特征信息为确定为重复的文本计算分值，则所述重复标签中进一步包含所述分值。

5.根据权利要求4所述的系统，其中，所述预处理模块具体用于：通过预设的神经网络模型确定各个文本对应的关键词。

6.根据权利要求5所述的系统，其中，所述预处理模块的数量为多个，且各个预处理模块相互并行处理。

7.根据权利要求1所述的系统，其中，所述文本为新闻文本。

8.一种文本消重方法，包括：

对待消重的各个文本进行预处理，根据预处理结果确定各个文本对应的关键词；

对预处理后的各个文本进行存储，并设置用于查询各个文本的倒排索引表；其中，所述倒排索引表用于存储各个关键词及其对应的文本之间的映射关系；

获取至少一个待消重文本，确定所述待消重文本对应的关键词，通过所述倒排索引表确定包含所述待消重文本对应的关键词的至少一个待比对文本，针对所述待消重文本以及所述待比对文本进行消重处理；

每当获取到所述待消重文本以及所述待比对文本后，将所述待消重文本以及所述待比对文本分发给其他计算子模块；

接收其他计算子模块针对分发到的文本进行局部消重处理后返回的局部消重处理结果，根据所述局部消重处理结果确定最终消重处理结果；

其中，所述方法进一步包括：在消重处理前，通过分布式锁对存储的所述待消重文本以及所述待比对文本进行加锁操作；并在消重处理后释放所述分布式锁。

9.根据权利要求8所述的方法，其中，所述对预处理后的各个文本进行存储的步骤具体包括：通过一致性哈希算法对预处理后的各个文本进行分布式存储。

10.根据权利要求8所述的方法，其中，所述针对所述待消重文本以及所述待比对文本进行消重处理的步骤之后，进一步包括：为确定为重复的文本设置重复标签。

11.根据权利要求10所述的方法，其中，所述为确定为重复的文本设置重复标签的步骤具体包括：根据文本的文本特征信息为确定为重复的文本计算分值，则所述重复标签中进一步包含所述分值。