[发明专利]基于布隆过滤器的数据查询系统有效
| 申请号: | 202010974429.6 | 申请日: | 2020-09-16 |
| 公开(公告)号: | CN112084216B | 公开(公告)日: | 2021-05-11 |
| 发明(设计)人: | 蔡文渊;张坤坤;张佳康 | 申请(专利权)人: | 上海嗨普智能信息科技股份有限公司 |
| 主分类号: | G06F16/2453 | 分类号: | G06F16/2453;G06F16/2455;G06F16/248;G06F16/25 |
| 代理公司: | 北京锺维联合知识产权代理有限公司 11579 | 代理人: | 丁慧玲 |
| 地址: | 200434 上海市虹口*** | 国省代码: | 上海;31 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 基于 过滤器 数据 查询 系统 | ||
1.一种基于布隆过滤器的数据查询系统,其特征在于,包括代理层、第一查询通道、第二查询通道,其中,
所述代理层分别与所述第一查询通道和第二查询通道连接,用于接收客户端发送的数据查询请求并根据预设的查询策略分发所述数据查询请求,以及接收所述第一查询通道返回的第一查询结果和/或所述第二查询通道返回的第二查询结果,并基于所述查询策略、所述第一查询结果和/或第二查询结果向所述客户端反馈查询结果;
所述第一查询通道包括缓存层和持久化层,所述缓存层中存储有热点数据,所述持久化层中存储有全量数据,若所述第一查询通道查询到所述查询请求对应的结果,则将所述对应的结果返回至所述代理层,否则,向代理层返回空查询结果;
所述第二查询通道包括布隆过滤器层,所述布隆过滤器层中存储有所述全量数据,若所述第二查询通道确定所述数据查询请求对应的数据不存在全量数据集中,则向所述代理层返回“False”,否则,向所述代理层返回“True”;
所述预设的查询策略包括:第一查询策略、第二查询策略和第三查询策略,其中,
所述第一查询策略包括:所述代理层将所述数据查询请求同时发送给所述第一查询通道和第二查询通道,所述代理层如果先接收到所述第一查询通道返回的查询结果,则将该查询结果直接返回至所述客户端;如果先接收到所述第二查询通道返回的“False”,则直接向所述客户端返回空查询结果;如果先接收到所述第二查询通道返回的“True”,则需等到接收到该查询请求在所述第一查询通道返回的查询结果后,将该查询请求在所述第一查询通道返回的查询结果返回至所述客户端;
所述第二查询策略包括:所述代理层将数据查询请求全部发送至所述第一查询通道查询,并将所述第一查询通道返回的查询结果返回至所述客户端;
所述第三查询策略包括:所述代理层将数据查询请求全部发送至所述第二查询通道,若所述第二查询通道返回“False”,则向所述客户端返回空查询结果,若所述第二查询通道返回“True”,将该查询请求重新发送至所述第一查询通道查询,并将所述第一查询通道返回的查询结果返回至所述客户端;
所述系统还包括处理器和存储有计算机程序的存储器,所当所述计算机程序被处理器执行时,实现以下步骤:
步骤S1、系统初始时刻,执行步骤S2;
步骤S2、控制所述代理层采用所述第一查询策略进行接收并分发预设数量的数据查询请求,并确定第一查询通道的平均查询时间t1、第二查询通道的平均查询时间t2,以及第二查询通道向所述代理层返回“True”的概率p;
步骤S3、基于t1、t2以及p确定采用所述第二查询策略对应的平均查询时间T2,以及采用所述第三查询策略对应的平均查询时间T3;
步骤S4、比较T2和T3,若T2≤T3,则在下一预设的时间周期内,控制所述代理层采用所述第二查询策略执行该周期内所接收的所有数据查询请求,否则,采用所述第三查询策略查询执行该周期内所接收的所有数据查询请求,该周期内的所有查询请求处理完毕后,返回步骤S2。
2.根据权利要求1所述的系统,其特征在于,
所述步骤S2包括:
步骤S21、控制所述代理层将接收到的每一数据查询请求同时发送给所述第一查询通道和第二查询通道,并记录每一数据查询请求在所述第一查询通道查询消耗的时间t1i、每一数据查询请求在所述第二查询通道查询消耗的时间t2i、以及所述第二查询通道返回“True”的数量m,其中,i=1,2...M,M为所述预设数量;
步骤S22、将所有t1i求平均得到t1,将所有t2i平均得到t2,将m除以M得到p。
3.根据权利要求2所述的系统,其特征在于,
所述步骤S3中:
所述第二查询策略对应的平均查询时间T2=t1;
所述第三查询策略对应的平均查询时间T3=t2+t1×p。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海嗨普智能信息科技股份有限公司,未经上海嗨普智能信息科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010974429.6/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





