[发明专利]数据查询方法、装置及系统

说明书

技术领域

本发明涉及计算机与通信技术领域，尤其涉及一种数据查询方法、装置及系统。

背景技术

目前，在当前许多行业中，待管理和分析的数据量特别巨大，甚至达到几百TB或者PB级，例如通信行业中的话单数据，网络流量数据等，针对此类数据，可以采用分布式文件系统，或者分布式半结构化存储系统等数据管理系统(例如Hive、Pig、CloudBase等)对数据进行管理，此类系统可部署于通用PC组成的集群，每个节点管理一部分数据，系统中存在唯一的主节点对各节点管理的数据进行分配，不同于传统关系数据库，此类系统的优点在于通过特有的三层索引架构，可以实现基于主关键字操作对数据进行高速处理，例如，对某主关键字对应的一行数据进行增加、删除、修改，以及扫描某两个主关键字范围之内的一段数据等。

上述系统中保存的数据的特点是随着时间推移，数据量不断增大，一方面，用户对系统保存的最近一段时间所生成的数据的查询最为频繁，生成时间距离当前时间越近的数据，用户对其进行查询的次数往往越多，而另一方面，用户对系统中保存的历史数据也会有一定的查询需要，总的来说，用户对上述系统中的数据进行查询时，对最近生成的数据和历史数据都会有查询需求，并且，针对在不同时段生成的数据，用户对其进行查询的频率也存在较大差异。

目前，现有技术中提供的基于采样数据的数据查询方案往往只针对某一数据段时间内数据进行采样，比如，只针对最近生成数据进行采样，或者只针对历史数据进行采样，并且，现有技术提供的数据查询方案在对数据进行采样时，也并没有考虑用户对不同时段生成的数据会有不同的查询频率，从而现有技术提供的数据查询方案难以满足用户在对数据进行查询时对数据范围和查询频率的需求。

发明内容

本发明实施例提供一种数据查询方法、装置及系统，用以满足用户在对数据进行查询时对数据范围和查询频率的需求。

本发明实施例采用以下技术方案：

一种数据查询方法，包括：数据查询服务器获得用户提供的数据查询条件；所述数据查询服务器根据所述数据查询条件，确定所述数据查询条件对应的数据信息；根据所述确定的数据信息、按照预设的采样规则预先从数据管理系统的各区服务器管理的数据中采样得到的采样数据，确定对所述管理的数据进行查询时所根据的数据查询策略，其中，所述预设的采样规则为按照对所述管理的数据进行采样的时间点与生成所述管理的数据的时间点的时间差由大至小的顺序，对应采用由小至大的预设采样率，对所述各区服务器管理的数据进行采样；所述数据查询服务器根据所述确定的数据查询策略，在所述管理的数据中，查询与所述数据信息相对应的数据。

较佳地，在上述方法中，所述采样率的设定方式可以为：对应于所述时间差由小至大的顺序或对应于预先设定的用户对不同时间点生成的数据的查询频率由高至低的顺序，所述数据查询服务器将预设的用于存储所述采样数据的存储空间划分为由大至小的存储子空间；以及针对在同一时间点生成的数据，将对应于该同一时间点生成的数据的存储子空间的大小除以所述各区服务器管理的该同一时间点生成的数据的总量所得的计算结果，设为对所述各区服务器管理的该同一时间点生成的数据进行采样所用的采样率。

较佳地，所述数据查询服务器根据所述数据信息以及所述采样数据，确定所述数据查询策略具体可以包括：所述数据查询服务器根据所述数据信息，从所述采样数据中，确定与所述各数据信息相关的数据，并针对每一数据信息，确定与该数据信息相关的数据的个数；按照所述确定的个数由少至多的顺序，对应确定对所述管理的数据进行查询时所采用的由先至后的数据查询顺序，并将依据所述确定的数据查询顺序对数据进行查询的方式确定为所述数据查询策略。

较佳地，所述数据查询服务器根据所述确定的数据查询策略，在所述管理的数据中，查询与所述数据信息相对应的数据具体可以为：所述数据查询服务根据所述确定的数据查询策略，分别针对所述各区服务器管理的数据，同步查询与所述数据信息相对应的数据。