[发明专利]数据查询方法、装置、存储介质及电子设备在审
| 申请号: | 202011602818.2 | 申请日: | 2020-12-29 |
| 公开(公告)号: | CN112632342A | 公开(公告)日: | 2021-04-09 |
| 发明(设计)人: | 石鹏 | 申请(专利权)人: | 北京大米科技有限公司 |
| 主分类号: | G06F16/903 | 分类号: | G06F16/903;G06F16/901 |
| 代理公司: | 北京恒博知识产权代理有限公司 11528 | 代理人: | 张晓芳 |
| 地址: | 100025 北京市朝*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据 查询 方法 装置 存储 介质 电子设备 | ||
本申请实施例公开了一种数据查询方法、装置、存储介质及电子设备,属于在线教育领域。设置有多个集群,每个集群包括至少一个用于存储数据的节点,且每个集群配置有布隆过滤器,在需要查询目标数据时,获取目标数据的对象名,使用多个不同的哈希函数对目标数据的对象名进行哈希运算各自得到哈希值,利用各个集群的布隆过滤器对得到的多个哈希值进行过滤处理确定候选集群,然后利用对象名在候选集群中依次进行查询,这样在集群扩容时,不需要对现有集群中的数据进行迁移就能快速实现准确的查找到目标数据,具有成本低和查询效率高的特点。
技术领域
本申请涉及在线教育领域,尤其涉及一种数据查询方法、装置、存储介质及电子设备。
背景技术
海量数据的存储一般采用分布式技术,海量数据存储在多个节点中。在接收到待存储数据时,采用哈希函数将待存储数据存储到多个节点中某个节点上,在查询数据时首先根据哈希函数确定目标节点,然后在目标节点上查询目标数据。然而,在多个节点的存储空间不足时,需要对节点进行扩容,增加新节点后如何采用现有的哈希函数在扩容后的多个节点中进行查询时,将无法确定正确的目标节点,此时需要对节点中的数据进行数据迁移,才能保证用户在扩容后的节点上准确的查询到目标数据,然而海量数据的迁移耗时长且成本高。
发明内容
本申请实施例提供了的数据查询方法、装置、存储介质及电子设备,可以解决需要对扩容后的节点进行数据迁移造成的耗时长和成本高的问题。所述技术方案如下:
第一方面,本申请实施例提供了一种数据查询方法,所述方法包括:
接收来自终端设备的数据查询请求;其中,所述数据查询请求携带第一对象名;
根据k个不同的哈希函数对第一对象名进行哈希运算得到k个哈希值;其中,k为大于1的整数;
根据n个集群中各个集群的布隆过滤波器对所述k个哈希值进行过滤处理,确定所述n个集群中的j个候选集群;其中,j小于n,j为大于或等于1的整数;
根据所述第一对象名在所述j个候选集群中查询对应的目标数据。
在一种可能的设计中,所述根据所述第一对象名在所述j个候选集群中查询对应的目标数据,包括:
对所述第一对象名进行哈希运算得到第一哈希值;
根据所述候选集群的节点数量对所述第一哈希值进行求模运算得到第一模值;
根据所述第一模值在所述候选集群中确定目标节点;
根据所述第一对象名在所述目标节点上查询。
在一种可能的设计中,还包括:
响应于所述终端设备的数据存储请求,获取第二对象名;其中,所述第二对象名为待存储数据的对象名;
将所述第二对象名进行哈希运算得到第二哈希值;
根据所述n个集群的节点总数量对所述第二哈希值进行求模运算得到第二模值;
根据所述第二模值在所述n个集群中确定目标节点。
在一种可能的设计中,还包括:
接收扩容请求;其中,所述扩容请求携带节点标识;
将所述节点标识指示的至少一个节点生成新集群;
为所述新集群配置布隆过滤器。
在一种可能的设计中,各个集群的布隆过滤器的长度相等。
第二方面,本申请实施例提供了一种数据查询装置,所述数据查询装置包括:
收发单元,用于接收来自终端设备的数据查询请求;其中,所述数据查询请求携带第一对象名;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京大米科技有限公司,未经北京大米科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011602818.2/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





