[发明专利]基于Bloom Filter的海量数据查询方法

权利要求书

1.一种基于Bloom Filter的海量数据查询方法，其特征在于包括以下步骤：

(1)使用SQL引擎将收集到的海量数据按分区存储到数据系统中，生成SQL逻辑表,形成数据文件；

(2)基于Bloom Filter算法，对数据文件生成Bloom Filter索引；

(3)查询数据时，SQL引擎根据所述的Bloom Filter索引信息判断数据文件中是否包含请求查询的数据，从而决定是否读取该数据文件。

2.根据权利要求1所述的基于Bloom Filter的海量数据查询方法，其特征在于为步骤(1)中所述SQL引擎可以是Apache Impala、Presto、Apache Drill、Apache HAWQ中的任一种。

3.根据权利要求1所述的基于Bloom Filter的海量数据查询方法，其特征在于为步骤(1)中所述海量数据是通过消息中间件从多种数据源收集、过滤和预处理后得到的，包括结构化和非结构化数据。

4.根据权利要求1所述的基于Bloom Filter的海量数据查询方法，其特征在于：步骤(1)中所述的数据系统是分布式文件系统HDFS。

5.根据权利要求1所述的基于Bloom Filter的海量数据查询方法，其特征在于：步骤(2)中每1个数据文件对应1个Bloom Filter索引，该索引信息存储在关系数据库中。

6.根据权利要求1所述的基于Bloom Filter的海量数据查询方法，其特征在于步骤(2)中的生成Bloom Filter索引包括以下步骤：

(21)建立m位的bit数组，m由文件数据量大小决定，数组中每一位的数值都为0；

(22)对SQL表中的字段数据x做k次hash运算，其中第i次hash运算结果n＝(hash(x)％m)，每次运算后将所述m位的bit数组中的第n位中设置为1，其中1≤i≤k≤m。

7.根据权利要求6所述的基于Bloom Filter的海量数据查询方法，其特征在于步骤(3)中的具体步骤为：对查询数据y做k次哈希运算，如果运算所映射的m位的bit数组中相应位置都为1，则判断包含数据y，将数据文件保存到待读取文件列表中；如果不全为1，则判断不包含对象数据y，忽略该数据文件。

8.根据权利要求7所述的基于Bloom Filter的海量数据查询方法，其特征在于还包括针对新增数据的操作：对新增数据进行k次hash运算，将结果映射到所在数据文件对应的Bloom Filter索引中并更新索引信息。