[发明专利]基于布隆过滤器的数据查询系统有效

专利信息
申请号: 202010974429.6 申请日: 2020-09-16
公开(公告)号: CN112084216B 公开(公告)日: 2021-05-11
发明(设计)人: 蔡文渊;张坤坤;张佳康 申请(专利权)人: 上海嗨普智能信息科技股份有限公司
主分类号: G06F16/2453 分类号: G06F16/2453;G06F16/2455;G06F16/248;G06F16/25
代理公司: 北京锺维联合知识产权代理有限公司 11579 代理人: 丁慧玲
地址: 200434 上海市虹口*** 国省代码: 上海;31
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 基于 过滤器 数据 查询 系统
【权利要求书】:

1.一种基于布隆过滤器的数据查询系统,其特征在于,包括代理层、第一查询通道、第二查询通道,其中,

所述代理层分别与所述第一查询通道和第二查询通道连接,用于接收客户端发送的数据查询请求并根据预设的查询策略分发所述数据查询请求,以及接收所述第一查询通道返回的第一查询结果和/或所述第二查询通道返回的第二查询结果,并基于所述查询策略、所述第一查询结果和/或第二查询结果向所述客户端反馈查询结果;

所述第一查询通道包括缓存层和持久化层,所述缓存层中存储有热点数据,所述持久化层中存储有全量数据,若所述第一查询通道查询到所述查询请求对应的结果,则将所述对应的结果返回至所述代理层,否则,向代理层返回空查询结果;

所述第二查询通道包括布隆过滤器层,所述布隆过滤器层中存储有所述全量数据,若所述第二查询通道确定所述数据查询请求对应的数据不存在全量数据集中,则向所述代理层返回“False”,否则,向所述代理层返回“True”;

所述预设的查询策略包括:第一查询策略、第二查询策略和第三查询策略,其中,

所述第一查询策略包括:所述代理层将所述数据查询请求同时发送给所述第一查询通道和第二查询通道,所述代理层如果先接收到所述第一查询通道返回的查询结果,则将该查询结果直接返回至所述客户端;如果先接收到所述第二查询通道返回的“False”,则直接向所述客户端返回空查询结果;如果先接收到所述第二查询通道返回的“True”,则需等到接收到该查询请求在所述第一查询通道返回的查询结果后,将该查询请求在所述第一查询通道返回的查询结果返回至所述客户端;

所述第二查询策略包括:所述代理层将数据查询请求全部发送至所述第一查询通道查询,并将所述第一查询通道返回的查询结果返回至所述客户端;

所述第三查询策略包括:所述代理层将数据查询请求全部发送至所述第二查询通道,若所述第二查询通道返回“False”,则向所述客户端返回空查询结果,若所述第二查询通道返回“True”,将该查询请求重新发送至所述第一查询通道查询,并将所述第一查询通道返回的查询结果返回至所述客户端;

所述系统还包括处理器和存储有计算机程序的存储器,所当所述计算机程序被处理器执行时,实现以下步骤:

步骤S1、系统初始时刻,执行步骤S2;

步骤S2、控制所述代理层采用所述第一查询策略进行接收并分发预设数量的数据查询请求,并确定第一查询通道的平均查询时间t1、第二查询通道的平均查询时间t2,以及第二查询通道向所述代理层返回“True”的概率p;

步骤S3、基于t1、t2以及p确定采用所述第二查询策略对应的平均查询时间T2,以及采用所述第三查询策略对应的平均查询时间T3

步骤S4、比较T2和T3,若T2≤T3,则在下一预设的时间周期内,控制所述代理层采用所述第二查询策略执行该周期内所接收的所有数据查询请求,否则,采用所述第三查询策略查询执行该周期内所接收的所有数据查询请求,该周期内的所有查询请求处理完毕后,返回步骤S2。

2.根据权利要求1所述的系统,其特征在于,

所述步骤S2包括:

步骤S21、控制所述代理层将接收到的每一数据查询请求同时发送给所述第一查询通道和第二查询通道,并记录每一数据查询请求在所述第一查询通道查询消耗的时间t1i、每一数据查询请求在所述第二查询通道查询消耗的时间t2i、以及所述第二查询通道返回“True”的数量m,其中,i=1,2...M,M为所述预设数量;

步骤S22、将所有t1i求平均得到t1,将所有t2i平均得到t2,将m除以M得到p。

3.根据权利要求2所述的系统,其特征在于,

所述步骤S3中:

所述第二查询策略对应的平均查询时间T2=t1

所述第三查询策略对应的平均查询时间T3=t2+t1×p。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海嗨普智能信息科技股份有限公司,未经上海嗨普智能信息科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010974429.6/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top