[发明专利]一种大数据相似文本去重预处理方法、装置及终端设备

权利要求书

1.一种大数据相似文本去重预处理方法，其特征在于，该方法包括如下步骤：

步骤1，文本总数为n，假设每个文本T长度类似，长度平均值为L，文本全集S={T_i| i∈[1，n]}，对文本集合S中的每个文本T进行分词，把分词后的词语进行清洗得到词语集合W={W_i| i∈[1，m] ，n≪m }，m是得到词语的总个数，根据分词建立倒排索引，若文本某一个关键词出现多次，词语集合W中只记录一次，建立倒排索引后，可以根据词语集合W中的词语快速找到包含这个词语的文本；

步骤2，统计词语集合W中的词语在文本全集S中出现的频数，设置频数阈值t，若词语集合W中的词语出现的频数在文本集合S中大于t，将这些高频词语标记为关键词，记为集合K={K_i| i∈[1，m’] ，K⊆W }，m’为高频词语的个数，即关键词个数，集合K是集合W的某一子集，K是有序集合；

步骤3，根据关键词集合K中的元素，遍历倒排索引，为文本集合S中的每个文本生成关键词属性值v，即文本集合S中的任一文本都有唯一关键词属性值v与之对应；

关键词属性值v的生成规则：

定义一个函数, g(K_i )=2 ^(i-1)，1≤i≤m’，

文本T_i中包含的关键词集合为：

，

K_sub⊆K，A为文本T_i中的关键词个数；

所以T_i的关键词属性值v：

；

步骤4，根据文本集合S中文本的关键词属性值v建立的B+树，对文本进行分类，使得关键词属性值v相同的文本对应到B+树中的同一个叶子节点关键字；

在去重操作时，可以快速查找到特定关键词组合的所有文本，在这组文本上进行相似度计算，根据实际需要来保留和去除相似文本；

B+树建立过程如下：

B+树中存在两种节点，一种是叶子节点，一种是索引节点，索引节点只存放关键字，叶子节点存放数据，根结点可以是叶子节点也可以是索引节点；

（1）遍历S中的文本，每个文本对应一个v值，将其作为关键字插入到B+树中；

（2）B+树节点插入过程如下：

假设B+树阶数为x，节点内关键字个数的范围[⌈x/2⌉，x]，

插入过程始终在叶子节点操作，并且不能破坏关键字自小到大的顺序；

1）若为空树，则生成一个叶子节点并插入关键字，当前叶子节点也是根节点，结束；

2）否则，对于叶子节点，若当前插入的叶子节点插入关键字后，关键字个数小于等于x，则结束，否则，当前叶子节点分裂成左右两个叶子节点，左节点包含前x/2个关键字，右节点包含后x/2+1个关键字，将右节点第1个关键字上升到父节点，并将该关键字左孩子指针指向左节点，右孩子指针指向右节点，当前节点指针指向该关键字所在节点；

3）对于索引节点，若当前节点指针关键字个数小于等于x，则结束，否则，分裂成左右两个索引节点，左节点包含前x/2个关键字，右节点包含后x/2+1个关键字，将右节点第1个关键字上升到父节点，并将该关键字左孩子指针指向左节点，右孩子指针指向右节点，当前节点指针指向该关键字所在节点；重复步骤3）。

2.根据权利要求1所述的一种大数据相似文本去重预处理方法，其特征在于，步骤1中，把分词后的词语进行清洗为：去掉停用词。

3.根据权利要求1所述的一种大数据相似文本去重预处理方法，其特征在于，步骤2中，K是有序集合指：K中关键词按字典顺序排序的有序集合。

4.根据权利要求1所述的一种大数据相似文本去重预处理方法，其特征在于，步骤2中，阈值t为： t= μn，0μ1，μ为常量，表示文本中词语文字的总长占据文本总长的比例阈值。

5.一种大数据相似文本去重预处理装置，其特征在于，该装置可以实现权利要求1-4任一项所述的一种大数据相似文本去重预处理方法。

6.一种终端设备，其特征在于，该终端设备包括权利要求5所述一种大数据相似文本去重预处理装置。