[发明专利]一种基于布隆过滤器的大数据量密钥去重方法及系统

权利要求书

1.一种基于布隆过滤器的大数据量密钥去重方法，其特征在于，包括以下步骤：

待去重密钥的获取，获取待存储、待精准去重的密钥；

去重系统初始化，根据预设参数创建多个持久化存储单元及对应的布隆过滤器实例；

密钥的分治存储，每输入一组密钥，通过散列函数计算密钥散列值，将散列值与存储单元个数进行映射运算，密钥存储至映射运算结果标识的存储单元；

密钥的布隆去重，存储时通过布隆过滤器对密钥进行去重判定，若不存在，则该密钥的去重检测标识字段设为不重复，若存在，则将密钥加入阳性数据集合；

阳性数据的遍历统计，遍历存储单元，判定密钥是否存在于阳性数据集合，若存在，表明密钥重复，则将该重复的密钥、存储位置特征信息以键值对方式记录至遍历统计结果集合；

密钥的精准去重，遍历统计结果集合中，若元素的密钥重复多次，则根据元素中多个存储位置剔除重复的密钥，保留一组，反之表明密钥唯一，对唯一的密钥更新其去重检测标识字段为不重复；

完成大数据量密钥的精准去重。

2.如权利要求1所述的基于布隆过滤器的大数据量密钥去重方法，其特征在于，去重系统初始化步骤中，所述预设参数包括目标数据总量、单个存储单元存储容量、预期误判率，所述目标数据总量、单个存储单元存储容量用于确定存储单元个数，所述单个存储单元存储容量和预期误判率用于一起确定布隆过滤器Bitmap数组大小及散列函数个数，存储单元与布隆过滤器一一对应。

3.如权利要求2所述的基于布隆过滤器的大数据量密钥去重方法，其特征在于，所述密钥的分治存储，通过散列函数计算密钥散列值，散列值映射至指定存储单元，使用的散列函数包括java hashCode方法、SM3杂凑算法、SHA算法、MD5算法中的任一种。

4.如权利要求2所述的基于布隆过滤器的大数据量密钥去重方法，其特征在于，将密钥加入阳性数据集合并进行保存，保存阳性数据集合使用包括Set、HashSet、LinkedHashSet中任一种唯一值元素形式的集合框架，以Add方法将阳性数据加入集合。

5.如权利要求2所述的基于布隆过滤器的大数据量密钥去重方法，其特征在于，保存遍历统计结果集合使用HashMap、LinkedHashMap、HashTable中任一种键值对元素形式的集合框架，将重复密钥、存储位置特征信息组织成键值对形式元素，将统计结果添加或更新至遍历统计结果集合。

6.如权利要求2所述的基于布隆过滤器的大数据量密钥去重方法，其特征在于，所述的存储单元与布隆过滤器一一对应，还包括密钥存储时即同步进行密钥的布隆去重，不同密钥映射存储至相应存储单元，并与相应布隆过滤器关联，多个布隆过滤器并行处理。

7.如权利要求3所述的基于布隆过滤器的大数据量密钥去重方法，其特征在于，所述散列值映射至指定存储单元，映射方法至少包括散列值与存储单元个数取余，余数指定存储单元序号，重复密钥散列值相同，存储至同一存储单元。

8.如权利要求5所述的基于布隆过滤器的大数据量密钥去重方法，其特征在于，所述统计结果添加至遍历统计结果集合，若该键值对元素已存在，则取出该元素，将存储位置特征信息添加至元素值对应的有序集合中，所述有序集合使用数组、List列表的其中一种。

9.如权利要求2所述的基于布隆过滤器的大数据量密钥去重方法，其特征在于，密钥的布隆去重，在密钥存储时，通过Bloom Filter算法计算密钥存在情况，若判定不存在则将该组密钥放入布隆过滤器实例中，且将存储单元中该密钥的去重检测标识字段设定为不重复，表示密钥唯一；若判定存在，则该组密钥为阳性数据，即布隆过滤器实例已存在相同密钥，则将存储单元中相同密钥的去重检测标识字段设定为Positive，且该组密钥还存入保存阳性数据的Value集合。