[发明专利]数据管理方法及装置

说明书

本公开关于一种数据管理方法及装置，属于大数据的数据分析领域，该方法包括：获取表格数据以及表格数据对应的历史查询记录，根据历史查询记录，确定分片键以及范围索引，根据分片键对表格数据进行预分片，以获取至少两个分片副本集进行分片存储，获取应用程序发送的针对表格数据的查询请求，并根据查询请求调用查询接口，以将查询请求路由至对应的分片副本集，根据范围索引，从分片副本集中获取查询请求对应的查询结果，并将查询结果发送至应用程序。由此，本公开基于分片技术，将表格数据更加合理地进行分片以及存储，以在提升了数据查询响应速度、使用户更快速地获取查询结果的同时，确保了数据查询过程中的准确性、灵活性和可靠性。

技术领域

本公开涉及大数据的数据分析领域，尤其涉及一种数据管理方法及装置。

背景技术

随着移动互联网的高速发展，网络上进行的活动越来越多，因此对查询用户的各类指标数据功能的要求也日益提高。

相关技术中，为了实现数据查询功能，通常采用Hadoop Database(hbase)存储数据，企业级搜索应用服务器(solr)建立索引或者通过远程字典服务(Remote DictionaryServer，redis)缓存提供快速查询。然而，在现有数据查询过程中，往往系统复杂度高，运维成本大，并且对多条件查询的支持不够灵活。因此，如何提高数据查询过程中的准确性、灵活性和可靠性已成为亟待解决的问题。

发明内容

本公开提供一种数据管理方法及装置，以至少解决相关技术中无法确保数据查询过程中的准确性、灵活性和可靠性的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种数据管理方法，包括：获取表格数据以及所述表格数据对应的历史查询记录；根据所述历史查询记录，确定分片键以及范围索引；根据所述分片键对所述表格数据进行预分片，以获取至少两个分片副本集进行分片存储；获取应用程序发送的针对所述表格数据的查询请求，并根据所述查询请求调用查询接口，以将所述查询请求路由至对应的所述分片副本集；根据所述范围索引，从所述分片副本集中获取所述查询请求对应的查询结果，并将所述查询结果发送至所述应用程序。

根据本公开的一个实施例，所述获取所述表格数据的数据量，包括：获取至少一个候选业务垂类以及每个所述候选业务垂类对应的预估数据量；获取所述表格数据对应的业务垂类，并根据所述业务垂类和所述预估数据量，获取所述表格数据的所述数据量。

根据本公开的一个实施例，所述获取所述表格数据的数据量，包括：获取至少一个候选业务垂类以及每个所述候选业务垂类对应的预估数据量；获取所述表格数据对应的业务垂类，并根据所述业务垂类和所述预估数据量，获取所述表格数据的所述数据量。

根据本公开的一个实施例，所述根据所述历史查询记录，确定分片键以及范围索引，包括：根据所述历史查询记录，获取所述表格数据中每个查询条件对应的查询频率；将查询频率最高的第一查询条件作为分片键；将其余的所述查询条件作为第二查询条件，并根据所述第二查询条件获取所述范围索引。

根据本公开的一个实施例，所述根据所述分片键对所述表格数据进行预分片，包括：获取预先设定的分片区间；根据数据量和所述分片区间，获取初始分片数量；根据所述分片键对所述表格数据进行哈希处理，并根据所述初始分片数量对进行哈希处理后的所述表格数据进行预分片。

根据本公开的一个实施例，所述根据所述第二查询条件获取所述范围索引，包括：按照所述查询频率对所述第二查询条件进行排序；选取处于预设排序范围内的所述第二查询条件，并根据处于预设排序范围内的所述第二查询条件获取所述范围索引。

根据本公开的一个实施例，所述根据所述查询请求调用查询接口，以将所述查询请求路由至对应的所述分片副本集，包括：从所述查询请求中提取至少一个查询条件；调用路由器，并根据所述查询条件将所述查询请求路由至对应的所述分片副本集。