[发明专利]文本去重的方法、装置以及存储介质

权利要求书

1.一种文本去重的方法，用于实现海量文本的去重，其特征在于，包括：

根据预先设置的分类模型，对获取的资讯海量文本进行分类，确定多个第一海量文本；

利用预先设置的局部哈希敏感算法，对所述第一海量文本集合进行文本去重，确定第二海量文本集合，其中所述第一海量文本集合中的文本包括文本内容以及文本标题；

利用所述局部哈希敏感算法，根据所述第二海量文本集合中的文本标题对所述第二海量文本集合进行去重，确定第三海量文本集合；以及

利用所述局部哈希敏感算法，根据所述第三海量文本集合中的文本内容对所述第三海量文本集合进行去重，确定第四海量文本集合。

2.根据权利要求1所述的方法，其特征在于，利用预先设置的局部哈希敏感算法，对第一海量文本集合进行文本去重，确定第二海量文本集合的操作，包括：

将所述第一海量文本集合中的文本标题进行预定次数的复制，确定第五海量文本集合；以及

利用所述局部哈希敏感算法，对所述第五海量文本集合进行文本去重，确定所述第二海量文本集合。

3.根据权利要求1所述的方法，其特征在于，利用预先设置的局部哈希敏感算法，对第一海量文本集合进行文本去重，确定第二海量文本集合的操作，包括：

对所述第一海量文本集合中的文本进行分词，确定多个分词以及与所述多个分词对应的多个特征向量；

对所述多个特征向量进行哈希计算，确定所述多个特征向量对应的多个哈希值；

根据所述多个哈希值对所述多个特征向量进行加权，确定多个加权特征向量；

将所述多个加权特征向量进行合并，确定序列向量；

对所述序列向量进行降维，确定所述第二海量文本集合中文本的最小哈希值；

利用海明距离计算方法，根据所述第二海量文本集合中文本的最小哈希值，确定所述第二海量文本集合中文本的第一相似度；以及

根据所述第一相似度，对所述第一海量文本集合中文本进行去重，确定所述第二海量文本集合。

4.根据权利要求1所述的方法，其特征在于，利用所述局部哈希敏感算法，根据所述第二海量文本集合中的文本标题对所述第二海量文本集合进行去重，确定第三海量文本集合的操作，包括：

构建所述第二海量文本集合中的文本标题的第一特征矩阵；

根据所述第一特征矩阵，利用Jaccard系数方法计算所述第一特征矩阵的列之间的第二相似度；以及

根据所述第二相似度，对所述第二海量文本集合中文本进行去重，确定所述第三海量文本集合。

5.根据权利要求4所述的方法，其特征在于，根据所述第二相似度，对所述第二海量文本集合中文本进行去重，确定所述第三海量文本集合的操作，包括：

当所述第二海量文本集合中的文本之间的所述第二相似度大于预先设置的第一相似度阈值的情况下，对所述第二海量文本中的文本进行去重，确定第三海量文本集合。

6.根据权利要求1所述的方法，其特征在于，利用所述局部哈希敏感算法，根据所述第三海量文本集合中的文本内容对所述第三海量文本集合进行去重，确定第四海量文本集合的操作，包括：

构建所述第三海量文本集合中的文本内容的第二特征矩阵；

根据所述第二特征矩阵，利用Containment系数方法计算所述第二特征矩阵的列之间的第三相似度；以及

根据所述第三相似度，对所述第三海量文本集合中文本进行去重，确定所述第四海量文本集合。

7.根据权利要求6所述的方法，其特征在于，根据所述第三相似度，对所述第三海量文本集合中文本进行去重，确定所述第四海量文本集合的操作，包括：

当所述第三海量文本集合中的文本之间的所述第三相似度大于预先设置的第二相似度阈值的情况下，对所述第三海量文本中的文本进行去重，确定第四海量文本集合。

8.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时由处理器执行权利要求1至7中任意一项所述的方法。