[发明专利]数据查询的方法、设备及系统

说明书

技术领域

本发明涉及数据处理技术，具体涉及数据查询的方法、设备及系统，属于计算机领域。

背景技术

目前，对于海量数据的存储查询方案主要分为集中式和分布式。

其中，在集中式方案中，采用数据库加单存储节点的架构，但随着单存储节点上数据的不断增大，要从海量数据中查询前N条数据，如TOP N查询；与单存储节点配合的传统数据库产品已难以满足实时性需求。在分布式方案中存在多个存储节点，对于大规模数据采用多个存储节点的分布式存储，但分布式存储主要针对的多为网页、图片等等单列数据的存储或查询需求，而对多列数据存储和查询，如TOP N查询需求，还没有可满足实时性需求的成熟解决方案。

现有技术中，要从分散存储的海量数据中做TOP N查询，都要取出大量冗余数据，再通过映射/归并（Map/Reduce）的方式进行排序并筛选结果，这样，当有一个部分的数据读取缓慢时，就要一直等待这部分数据，导致数据查询的实时性差，数据查询效率低下。

发明内容

本发明实施例提供一种数据查询的方法，可以提高数据查询的实时性。本发明实施例还提供了相应的设备及系统。

一方面，本发明实施例提供一种数据查询的方法，包括：

获取查询任务所拆分成的多个查询子任务，并将每个查询子任务分别分配给不同的执行节点；按照预置的归并策略，将发生数据归并的次数最近的执行节点划分到一个归并集合，并指定所述归并集合中的一个执行节点归并所述归并集合中的其他执行节点查询到的或者归并后的数据，其中，每个归并集合中只有被指定执行数据归并的执行节点才能再次被划分到归并集合；重复执行所述划分归并集合和指定归并的步骤，直到获取最后的归并数据，所述最后的归并数据为最后一个归并集合中指定的执行节点执行所述归并步骤得到的；

向用户端返回所述最后的归并数据。

另一方面，本发明实施例提供一种服务器，包括：获取单元，用于获取查询任务所拆分成的多个查询子任务；分配单元，用于将所述获取单元获取的每个查询子任务分别分配给不同的执行节点；划分单元，用于在所述分配单元分配所述每个查询子任务后，按照预置的归并策略，将发生数据归并的次数最近的执行节点划分到一个归并集合；指定单元，用于指定所述划分单元划分后的归并集合中的一个执行节点归并所述归并集合中的其他执行节点查询到的或者归并后的数据，其中，每个归并集合中只有被指定执行数据归并的执行节点才能再次被划分到归并集合；所述获取单元，还用于在所述划分单元和所述指定单元重复执行所述划分归并集合和所述指定归并的步骤后，获取最后的归并数据，所述最后的归并数据为最后一个归并集合中指定的执行节点执行所述归并步骤得到的；发送单元，用于向用户端返回所述获取单元获取的最后的归并数据。

另一方面，本发明实施例提供一种数据查询系统，包括：调度服务器、任务服务器、多个执行节点、用户端；所述调度服务器从所述任务服务器获取查询任务所拆分成的多个查询子任务，并将每个查询子任务分别分配给不同的执行节点；按照预置的归并策略，将发生数据归并的次数最近的执行节点划分到一个归并集合，并指定所述归并集合中的一个执行节点归并所述归并集合中的其他执行节点查询到的或者归并后的数据，其中，每个归并集合中只有被指定执行数据归并的执行节点才能再次被划分到归并集合；重复执行所述划分归并集合和指定归并的步骤，直到获取最后一个归并集合中指定的执行节点执行所述归并步骤得到的最后的归并数据；向用户端返回所述最后的归并数据。

另一方面，本发明实施例还提供一种数据查询系统，包括：调度服务器、多个执行节点、用户端；所述调度服务器获取查询任务后，将所述查询任务拆分成多个查询子任务，并将所述多个查询子任务分配给每个执行节点；按照预置的归并策略，将发生数据归并的次数最近的执行节点划分到一个归并集合，并指定所述归并集合中的一个执行节点归并所述归并集合中的其他执行节点查询到的或者归并后的数据，其中，每个归并集合中只有被指定执行数据归并的执行节点才能再次被划分到归并集合；重复执行所述划分归并集合和指定归并的步骤，直到获取最后一个归并集合中指定的执行节点执行所述归并步骤得到的最后的归并数据；向用户端返回所述最后的归并数据。