[发明专利]数据存储及查询方法、装置、电子设备及存储介质有效
申请号: | 201911370630.7 | 申请日: | 2019-12-26 |
公开(公告)号: | CN113051264B | 公开(公告)日: | 2022-04-29 |
发明(设计)人: | 王方 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/2458 |
代理公司: | 北京智信四方知识产权代理有限公司 11519 | 代理人: | 钟文芳;宋海龙 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 存储 查询 方法 装置 电子设备 介质 | ||
本公开实施例公开了一种数据存储及查询方法、装置、电子设备及存储介质,所述方法包括:获取待存储数据;其中,所述待存储数据为包括时间信息和空间信息的时空数据;根据所述时间信息和空间信息生成索引数据,并更新数据统计信息;其中,所述索引数据包括时空索引和空时索引,所述数据统计信息包括时间维度上的第一数据统计信息以及空间维度上的第二数据统计信息。该技术方案能够在存储具有时间信息和空间信息的多维时空数据时,采用时空索引和空时索引两种不同的索引数据进行存储,而在查询的时候支持空间和/或时间条件各种查询模式,同时还能够根据时间和空间两个不同维度范围内数据量的大小确定查询计划,提高了查询效率。
技术领域
本公开涉及计算机技术领域,具体涉及一种数据存储及查询方法、装置、电子设备及存储介质。
背景技术
随着基于位置的服务(LBS)等技术的快速发展,越来越多的终端设备连接至网络,由此产生了大规模的时空位置信息,如车辆轨迹、个人轨迹、群体活动、可穿戴设备的时空位置等。这些数据具有动态变化(数据写入频繁)、时空多维、规模巨大、价值随时间推移而衰减、空间搜索和时序查询相结合等特征。
相对于关系型数据库,HBase在应对大数据方面具有明显的优势,但同时其在多维度查询等方面具有劣势。因此,针对时空数据特征与应用场景,优化HBase对时空数据的存储及检索能力成为需要解决的问题之一。
发明内容
本公开实施例提供一种数据存储及查询方法、装置、电子设备及计算机可读存储介质。
第一方面,本公开实施例中提供了一种数据存储方法。
具体的,所述数据存储方法,包括:
获取待存储数据;其中,所述待存储数据为包括时间信息和空间信息的时空数据;
根据所述时间信息和空间信息生成索引数据,并更新数据统计信息;其中,所述索引数据包括时空索引和空时索引,所述数据统计信息包括时间维度上的第一数据统计信息以及空间维度上的第二数据统计信息。
进一步地,根据所述时间信息和空间信息生成索引数据,包括:
根据所述空间信息生成空间填充曲线编码;
根据所述时间信息和所述空间填充曲线编码生成所述索引数据。
进一步地,所述时空索引包括所述时间信息和所述空间信息,且所述时间信息位于所述空间信息之前;所述空时索引包括所述空间信息和所述时间信息,且所述空间信息位于所述时间信息之前。
进一步地,所述更新数据统计信息,包括:
根据所述时间信息匹配所述第一数据统计信息的时间范围,并更新所述第一数据统计信息中所匹配的时间范围内的第一数据统计量;和/或,
根据所述空间信息匹配所述第二数据统计信息,并更新所述第二数据统计信息中所匹配的空间范围内的第二数据统计量。
第二方面,本公开实施例中提供了一种数据查询方法。
具体的,所述数据查询方法,包括:
确定查询条件中待查询的时间范围和空间范围;
确定所述时间范围内的第一数据统计量,以及所述空间范围内的第二数据统计量;
根据所述第一数据统计量和第二数据统计量确定查询计划。
进一步地,确定所述时间范围内的第一数据统计量,以及所述空间范围内的第二数据统计量,包括:
获取时间维度上的第一数据统计信息和空间维度上的第二数据统计信息;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911370630.7/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置