[发明专利]基于Bloom Filter的海量数据查询方法在审
| 申请号： | 201811581515.X | 申请日： | 2018-12-24 |
| 公开（公告）号： | CN109783441A | 公开（公告）日： | 2019-05-21 |
| 发明（设计）人： | 王东;王伟;曹娇娇 | 申请（专利权）人： | 南京中新赛克科技有限责任公司 |
| 主分类号： | G06F16/13 | 分类号： | G06F16/13;G06F16/14;G06F16/182 |
| 代理公司： | 南京苏高专利商标事务所(普通合伙) 32204 | 代理人： | 柏尚春 |
| 地址： | 210012 江苏*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于Bloom Filter的海量数据查询方法，包括使用SQL引擎将收集到的海量数据按分区存储到数据系统中，生成SQL逻辑表,形成数据文件；基于Bloom Filter算法，对数据文件生成Bloom Filter索引；查询数据时，SQL引擎根据所述的Bloom Filter索引信息判断数据文件中是否包含请求查询的数据，从而决定是否读取该数据文件。本方法对现有SQL引擎进行了改进，在查询时过滤了不包含所需查询数据的数据文件，减少了大量不必要的数据读取和查询，在海量数据的情况下的数据查询的性能可以比现有技术提高百倍以上。 | ||
| 搜索关键词： | 数据文件 海量数据查询 查询数据 海量数据 查询 读取 数据文件生成 分区存储 数据查询 数据读取 数据系统 索引信息 逻辑表 算法 索引 过滤 改进 | ||
【主权项】：
1.一种基于Bloom Filter的海量数据查询方法，其特征在于包括以下步骤：(1)使用SQL引擎将收集到的海量数据按分区存储到数据系统中，生成SQL逻辑表,形成数据文件；(2)基于Bloom Filter算法，对数据文件生成Bloom Filter索引；(3)查询数据时，SQL引擎根据所述的Bloom Filter索引信息判断数据文件中是否包含请求查询的数据，从而决定是否读取该数据文件。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于南京中新赛克科技有限责任公司，未经南京中新赛克科技有限责任公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811581515.X/，转载请声明来源钻瓜专利网。
