[发明专利]基于Bloom Filter的海量数据查询方法

说明书

本发明公开了一种基于Bloom Filter的海量数据查询方法，包括使用SQL引擎将收集到的海量数据按分区存储到数据系统中，生成SQL逻辑表,形成数据文件；基于Bloom Filter算法，对数据文件生成Bloom Filter索引；查询数据时，SQL引擎根据所述的Bloom Filter索引信息判断数据文件中是否包含请求查询的数据，从而决定是否读取该数据文件。本方法对现有SQL引擎进行了改进，在查询时过滤了不包含所需查询数据的数据文件，减少了大量不必要的数据读取和查询，在海量数据的情况下的数据查询的性能可以比现有技术提高百倍以上。

技术领域

本发明涉及一种海量数据查询方法，特别是涉及一种基于Bloom Filter的海量数据查询方法。

背景技术

随着大数据时代的到来，分布式数据库的发展和应用越来越广泛，数据系统存储的数据越来越海量，需要可以组建成规模上千的集群，处理PB级别的大数据分析系统。Apache Impala、Presto、Apache Drill、Apache HAWQ等都是目前基于MPP架构的SQL-on-Hadoop(HDFS)查询引擎，它们提供了类SQL的语法，能够提供较高的响应速度和吞吐量，能够对PB级数据进行交互式实时查询、分析。但这些SQL引擎在读取文件时，并不能区分该文件中是否包含所需要查询的数据，随着数据量的增加特别是面对着海量数据，查询性能也会随之急剧下降。

Bloom Filter是由布隆(Burton Howard Bloom)在1970年提出的。它实际上是一个二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中，能够有效地提高检索的效率。但是Bloom Filter目前没有在Apache Impala中的应用，也没发现在其他SQL引擎中的应用。

发明内容

发明目的：本发明要解决的技术问题是提供一种基于Bloom Filter的海量数据查询方法，能够判断文件中是否包含所需查询的数据，过滤了不包含所需查询数据的数据文件，减少了不必要的数据读取和查询，在海量数据的情况下能够大幅提高数据查询的性能。

技术方案：本发明所述的基于Bloom Filter的海量数据查询方法，包括以下步骤：

(1)使用SQL引擎将收集到的海量数据按分区存储到数据系统中，生成SQL逻辑表,形成数据文件；

(2)基于Bloom Filter算法，对数据文件生成Bloom Filter索引；

(3)查询数据时，SQL引擎根据所述的Bloom Filter索引信息判断数据文件中是否包含请求查询的数据，从而决定是否读取该数据文件。

所述SQL引擎可以是Apache Impala、Presto、Apache Drill、Apache HAWQ中的任一种。

进一步的，所述海量数据是通过消息中间件从多种数据源收集、过滤和预处理后得到的，包括结构化和非结构化数据。

进一步的，所述的数据系统是分布式文件系统HDFS。

进一步的，步骤(2)中每1个数据文件对应1个Bloom Filter索引，该索引信息存储在关系数据库中。

进一步的，步骤(2)中的生成Bloom Filter索引包括以下步骤：

(21)建立m位的bit数组，m由文件数据量大小决定，数组中每一位的数值都为0；

(22)对SQL表中的字段数据x做k次hash运算，其中第i次hash运算结果n＝(hash(x)％m)，每次运算后将所述m位的bit数组中的第n位中设置为1，其中1≤i≤k≤m。