[发明专利]一种基于Zookeeper的异步下载方法及装置

说明书

本申请实施例提供了一种基于Zookeeper的异步下载方法及装置，用于降低数据下载所消耗的时间，该方法具体包括：根据m个Hadoop数据源，在Zookeeper中创建m个动态队列，m为Hadoop集群中支持查询功能的组件个数，m为大于等于1的正整数，对m个动态队列的数据下载任务进行并行控制，每个动态队列对应一种数据源，监听程序实时监听m个动态队列的变化情况，根据m个动态队列的变化情况，调用与发生变化的动态队列对应的查询组件从相应的数据源进行数据下载，获取数据下载任务状态及下载后的数据文件。

技术领域

本发明涉及电子技术领域，特别是一种基于Zookeeper的异步下载方法及装置。

背景技术

随着信息技术的快速发展，大数据技术在各行业获得了广泛应用，Hadoop凭借其低廉的软硬件成本、强大的并行计算能力，为各行业提供了大数据解决方案。由于Hadoop存储的数据量大，用户在前台页面进行数据查询时，需要采用分页方式查询，在前台页面进行大数据量下载时，耗费时间较多，给用户带来很大不便。

发明内容

鉴于上述问题，本发明的目的在于提供一种基于Zookeeper的异步下载方法，以便克服上述问题或至少部分地解决上述问题，具体方案如下：

第一方面，本发明实施例公开了一种基于Zookeeper的异步下载方法，所述方法包括：

根据所述m个Hadoop数据源，在Zookeeper中创建m个动态队列，所述m为Hadoop集群中支持查询功能的组件个数，所述m为大于等于1的正整数，对所述m个动态队列的数据下载任务进行并行控制；每个动态队列对应一种数据源；

监听程序实时监听所述m个动态队列的变化情况，根据所述m个动态队列的变化情况，调用与发生变化的动态队列对应的查询组件从相应的数据源进行数据下载；

获取数据下载任务状态及下载后的数据文件。

可选的，所述在Zookeeper中创建m个动态队列，包括：

获取所述m个动态队列，每个动态队列包括一个一级节点；所述一个一级节点对应一种查询组件；

当接收到下载请求时，确定与所述下载请求对应的查询组件；

根据所述与所述下载请求对应的查询组件，确定与所述下载请求对应的一级节点；

在所述与下载请求对应的一级节点下，根据接收到所述下载请求的顺序依次创建二级节点；所述二级节点与所述下载请求一一对应。

可选的，所述在所述与下载请求对应的一级节点下，根据接收到所述下载请求的顺序依次创建二级节点还包括：

当任意一个一级节点下存在多个二级节点时，所述多个二级节点的序列号按照创建所述二级节点的顺序依次递增。

可选的，所述监听程序实时监听所述m个动态队列的变化情况，根据所述m个动态队列的变化情况，调用与动态队列对应的查询组件进行数据下载，包括：

设置m个监听程序，每个监听程序分别实时监听一个动态队列中的二级节点的变化情况；

当所述二级节点发生变化时，根据Zookeeper发出的通知，获取发生变化的所述二级节点所在所述动态队列中的所有二级节点信息；

获取序列号最小的二级节点；根据所述下载请求，将所述序列号最小的二级节点中存储的数据信息封装成数据量查询语句，通过与一级节点相应的查询组件进行查询；并删除所述序列号最小的二级节点。

可选的，所述监听程序实时监听所述m个动态队列的变化情况，根据所述m个动态队列的变化情况，调用与动态队列对应的查询组件进行数据下载，还包括：